Salah satunya adalah hubungan pangeran dengan para wanita.
Babad Dipanegara, kisah yang ditulis Diponegoro ketika ia dibuang di Manado, ia menjelaskan dirinya sebagai Arjuna, tokoh Pandawa yang paling tampan.
Menurut Peter Carey sendiri untuk penampilan fisik, Diponegoro tidak dapat disebut setampan Arjuna, tapi bisa dikatakan "cukup enak dipandang oleh mata Jawa."
Ia menikah beberapa kali, pada pernikahannya yang pertama ia menikah dengan anak seorang ulama terkemuka dari Desa Dadapan, dekat Tempel, yaitu Raden Ayu Madubrongto.
Namun ia kemudian menikah lagi dengan Raden Ayu Retnokusumo atas desakan orangtuanya, Sultan Hamengkubuwono III, dalam sebuah pernikahan sarat politik karena Raden Ayu Retnokusumo adalah putri Bupati Panolan, Kesultanan Yogyakarta, Raden Tumenggung Notowijoyo III.
Sepanjang hidupnya Diponegoro memiliki tujuh istri resmi dan selir yang tidak terhitung banyaknya, di Tegalrejo ia memiliki 4 istri resmi dan beberapa selir.
Ada seorang selirnya yang terakhir konon cukup cantik sampai memancing sifat mata keranjang Asisten Residen Belanda untuk Yogyakarta, P.F.H Chavelier (1823-1825).
Selir itu dikabarkan hidup bersama asisten residen beberapa bulan sebelum Perang Jawa.