Mengingat KAA merupakan perisitiwa sangat bersejarah dalam politik luar negeri Indonesia, maka Prof. Dr. Mochtar Kusumaatmadja, S.H., LL.M. yang menjabat Menteri Luar Negeri Indonesia waktu itu melemparkan gagasan untuk mendirikan Museum Konferensi Asia Afrika.
Gagasan itu dilontarkan dalam forum rapat Panitia Peringatan Konferensi Asia Afrika ke-25 (1980) dan disambut baik oleh forum, termasuk dari Presiden Rl Soeharto.
Gagasan pendirian Museum Konferensi Asia Afrika kemudian diwujudkan oleh Joop Ave selaku Ketua Harian Panitia Peringatan Konferensi Asia Afrika ke-25 dan Direktur Jenderal Protokol dan Konsuler Departemen Luar Negeri, bekerjasama dengan Departemen Penerangan, Departemen Pendidikan dan Kebudayaan, Pemerintah Daerah Tingkat I Jawa Barat, dan Universitas Padjadjaran Bandung.
Museum Konferensi Asia Afrika diresmikan berdirinya oleh Presiden Rl Soeharto pada tanggal 24 April 1980 sebagai puncak peringatan Konferensi Asia Afrika ke-25 dan menjadi milik pemerintah Republik Indonesia.
Mengingat kekhususan isi museum, yaitu politik luar negeri, dan terlalu banyaknya museum yang ditangani oleh Direktorat Permuseuman Direktorat Jenderal Kebudayaan Departemen Pendidikan dan Kebudayaan, maka dengan Surat Keputusan Bersama Menteri Luar Negeri Nomor: 62/OR/VI/86/01 dan Menteri Pendidikan dan Kebudayaan Nomor: 0419 a/U/1986 tanggal 18 Juni 1986, kedudukan Museum Konferensi Asia Afrika dialihkan ke Departemen Luar Negeri cq. Badan Penelitian dan Pengembangan Masalah Luar Negeri.
Tujuan pendirian museum adalah untuk menyelamatkan, mengumpulkan, memelihara, mengolah, dan menyajikan peninggalan-peninggalan dan informasi yang bertalian dengan latar belakang peristiwa dan perkembangan Konferensi Asia Afrika.
Hal-hal yang bertalian dengan aspek sosial budaya dan peranan bangsa-bangsa Asia Afrika, khususnya bangsa Indonesia dalam percaturan politik dan kehidupan dunia.
Juga untuk menunjang usaha-usaha dalam rangka pengembangan kebudayaan nasional, pendidikan bagi generasi muda, dan peningkatan asset kepariwisataan.
Museum ini tergolong ke dalam museum sejarah politik, khususnya politik luar negeri.
Museum KAA terletak di sayap kiri depan Gedung Merdeka dan mengabadikan seputar peristiwa, masalah, dan pengaruh yang mengitari Konferensi Asia Afrika.
Dalam menjalankan fungsinya sebagai pusat studi, edukasi, informasi, dan rekreasi, museum ditunjang oleh ruang pameran tetap, perpustakaan, dan audio visual.
Ruang pameran tetap memajang sejumlah koleksi baik benda tiga dimensi atau foto yang bertutur lahirnya KAA, mulai dari Peristiwa Tugu sampai Konferensi Asia Afrika tahun 1955.