Peter Carey mencatat Diponegoro memiliki 17 anak, 12 laki-laki dan 5 perempuan, semua dari istri-istri resminya.
Kemudian di masa perang pasca kematian istri keempat sekaligus istri yang paling dikasihinya, Raden Ayu Maduretno pada November 1827, ia menikahi 3 istri baru.
Salah satunya adalah Raden Ayu Retnoningsih (1810-1885), putri Bupati Madiun serta kemenakan perempuan Raden Ronggo Prawirodirdjo III.
Raden Ayu Retnoningsih masih berusia 17 tahun ketika dinikahi Diponegoro, dan sebagai satu-satunya istri resmi yang menemani Diponegoro dalam pengasingan, Raden Ayu Retnoningsih memberi dua anak untuk Diponegoro.
Diponegoro memang lemah terhadap perempuan, daya tariknya sangat besar bagi kaum hawa, dan ia mengakui sifat yang mengganggu di masa mudanya adalah "sering tergoda oleh perempuan".
Diponegoro juga bangga dalam keahliannya menaklukkan hati wanita, seperti diceritakan Residen Manado Pietermaat (menjabat 1827-1831) jika “percakapan yang paling digemarinya adalah tentang perempuan-perempuan yang melihatnya sebagai seorang kekasih yang menawan.”
Peter Carey juga mengatakan ketika Diponegoro sakit malaria ketika 3 bulan akhir perang, ia masih mampu bermain-main dengan janda-dukun, Nyai Asmaratuna, yang merawatnya di Desa Sebodo di timur Bagelen.
Di Manado Pangeran Diponegoro juga pernah ingin menikahi perempuan setempat yaitu putri dari seorang warga Muslim terkemuka, Letnan Hasan Nur Latif.