Melalui pemilihan lokasi yang tidak sederhana, akhirnya Sultan Agung memilih Bukit Merak sebagai lokasi pembangunan pemakaman.
Pemilihan lokasi makam di tempat yang tinggi ini mengingatkan pada kepercayaan masyarakat di masa lalu bahwa arwah nenek moyang akan bersemayam di tempat yang tinggi.
Konon katanya, Sultan Agung ingin dimakamkan di sebuah tempat di Meka.
Tapi setelah mendapatkan pertimbangan dari sahabatnya yang seorang ulama, niat itu diurungkan.
Sebagai gantinya, ulama tersebut menyarankan Sultan Agung untuk membawa segenggam tanah yang harum itu untuk dibawa ke Mataram.
Setibanya di Mataram, tanah yang harum tersebut kemudian dilemparkan Sultan Agung dan jatuh di daerah Giriloyo.
Rupanya pembangunan makam bukan hanya mempersiapkan lubang namun membangun kompleks makam yang melibatkan ribuan orang.
Paman Sultan Agung yaitu Gusti Juminah ikut membantu mengawasi pembangunan makam, namun kemudian ia jatuh sakit hingga meninggal dan lalu dimakamkan di kompleks tersebut.
Karena pamannya sudah dimakamkan di Giriloyo, Sultan Agung pun merasa kompleks makam tersebut tidak akan cukup untuk keluarga dan keturunannya.
Sultan Agung pun mengambil sisa tanah yang berbau harum kemudian melemparnya ke selatan dan jatuh di Bukit Merak.
Di tempat inilah kompleks makam akhirnya dibangun dan dibagi menjadi beberapa bagian yang dimaksudkan tidak hanya untuk dirinya sendiri, namun juga untuk keluarganya.
Hingga akhirnya pada tahun 1645 Sultan Agung wafat dan sesuai keinginannya maka jasadnya pun dimakamkan di tempat tersebut.