Dia pun sangat berminat kepada sastra Jawa.
Pada usia sangat muda putra-putranya juga ikut menjadi abdi dalem di keraton. Salah satu tugas mereka ialah menemani putra-putra susuhunan masuk sekolah dasar Belanda. Antasena, salah seorang putra Paku Buwana X, kelak menggantikan ayahnya menjadi Paku Buwana XI. Termasuk di antara pangeran-pangeran kecil yang harus dikawal itu.
Tugas itu ternyata membawa manfaat bagi petugas kecil itu. Lesya memang anak yang cerdas. Sekalipun ia tidak pernah didaftarkan sebagai murid resmi, ia tekun mengikuti pelajaran sampai ke kelas enam. Tinggal satu kelas lagi lulus, ia dikeluarkan dengan alasan "terlalu tua".
Jadi ia tak pernah tamat sekolah dasar. Untuk mempraktikkan pelajaran bahasa Belanda yang didapatnya di sekolah, Lesya sering mengunjungi tangsi barisan pengawal Belanda. Prajurit-prajurit yang tinggal di sana rupanya senang juga bercakap-cakap dengan bocah Jawa yang pintar itu.
Menurut profesor Th. P. Pigeaud, Purbacaraka kemudian masih memakai istilah-istilah Belanda tertentu yang mengingatkannya pada hubungan dengan para pengawal raja itu. Dengan bekal yang didapat dari sekolah ditambah pengalaman praktik dengan pasukan pengawal keraton itu Lesya cukup mahir dalam bahasa asing itu. Rademakeer, kepala arsitek keraton, pernah berkata: "Kalau mau mencari orang Sala yang pandai berbahasa Belanda, carilah Lesya."
Mandor jalan
Lesya sangat gemar membaca. Sejak remaja ia sudah membaca karya-karya sastra Jawa klasik yang terdapat dalam perpustakaan ayahnya yang memenuhi empat lemari. Membaca buku koleksi ayahnya bukan pekerjaan mudah, apalagi karena remaja itu tidak mendapat didikan khusus di bidang sastra, dan sebagian kumpulan itu salinan naskah kuno.
Lebih-lebih kalau naskah itu ditulis dalam bahasa Jawa Kuno yang sudah tidak dikenal lagi oleh orang Jawa. Lesya sering minta tolong kepada ibunya, Mas Ajeng Semu alias Raden Rara Samsirah. Meskipun hanya wanita sederhana, tetapi ibunya itu gemar membaca dan tahu ceritera-ceritera klasik. Kalau bacaannya macet si anak muda bertanya kepada ibunya, sehingga jalan ceritanya bisa diikuti kembali.
Hal itu pun akhirnya tidak memuaskan hatinya, karena banyak kalimat, banyak kata-kata yang tak dapat dipahami. Lesya bertanya kepada ayahnya, kemudian kepada para ahli sastra Jawa, tetapi mereka tidak dapat menolong banyak, terutama kalau sudah mengenai bahasa Jawa Kuno. Akhirnya yang membantu studinya dalam bahasa Jawa Kuno–aneh, tapi benar–adalah pengetahuan bahasa Belandanya.
Dalam koleksi ayahnya ia menemukan sebuah buku yang ditulis oleh Profesor Hendrik Kern, seorang ahli bahasa Sanskerta dan Jawa Kuno terkemuka di Universitas Leiden.
Buku itu sebenarnya dipersembahkan oleh seorang pejabat Belanda kepada sunan, tetapi karena raja tidak bisa membacanya, ia menyerahkannya kepada R.T. Purbadipura, mungkin dengan harapan agar bupati anom itu bisa menerangkannya. Demikianlah buku yang menguraikan sebuah karya klasik Jawa Kuno sampai ke tangan pemuda Lesya.
Sementara itu susuhunan telah mengangkat Lesya sebagai priyayi. Pada kesempatan terbukanya lowongan niyaga atau pemain gamelan, anak muda itu ikut ujian dan berhasil lulus. Ia ditetapkan sebagai kepala jaga dengan gelar Raden Lurah Atmapradangga. Jabatan itu tak lama dipegangnya.