Namun, dalam perjalanan, ia bertemu dengan Sunan Kalijaga, salah satu wali yang berusaha mengislamkannya.
Sunan Kalijaga berhasil meyakinkan Prabu Brawijaya V untuk tidak melanjutkan niatnya ke Bali, dan mengajaknya untuk bertapa di Gunung Lawu.
Di Gunung Lawu, Prabu Brawijaya V melakukan dialog legendaris dengan Sunan Kalijaga.
Ia meminta Sunan Kalijaga untuk mengasuh anak cucunya, terutama Bondan Kejawen yang akan menjadi leluhur raja-raja Mataram.
Ia juga meramalkan bahwa Bondan Kejawen akan menurunkan pemimpin tanah Jawa.
Setelah dialog itu, Prabu Brawijaya V melanjutkan pertapaannya di puncak Gunung Lawu yang bernama Hargo Dalem.
Di sana, ia melakukan proses moksa, yaitu melepaskan diri dari ikatan dunia dan mencapai kesempurnaan rohani.
Moksa Prabu Brawijaya V di Hargo Dalem merupakan akhir dari kejayaan Majapahit dan awal dari perkembangan Islam di Nusantara.
Hingga kini, Hargo Dalem masih dianggap sebagai tempat bersemayamnya roh Prabu Brawijaya V.
Namun, misteri menghilangnya jasad atau makam Prabu Brawijaya V tidak pernah terpecahkan.
Ada yang mengatakan bahwa ia dimakamkan di Trowulan, bekas ibukota Majapahit.
Ada juga yang mengatakan bahwa ia tidak meninggalkan jasad atau makam sama sekali.