Setelah pensiun dari jabatan panglima, Jusuf ditunjuk menjadi Ketua Badan Pemeriksa Keuangan (BPK) pada tahun 1983.
Jabatan ini ia emban hingga tahun 1993. Sebagai ketua BPK, Jusuf dikenal sebagai sosok yang tegas dan tidak kompromi dalam mengawasi pengelolaan keuangan negara.
Selain itu, Jusuf juga aktif di bidang sosial dan keagamaan.
Ia menjadi Ketua Umum Dewan Masjid Indonesia (DMI) pada tahun 1984. Ia juga menjadi Ketua Umum Ikatan Cendekiawan Muslim Indonesia (ICMI) pada tahun 1990.
Ia juga mendirikan Yayasan Kesejahteraan Anak Yatim dan Dhuafa (YKAYD) yang membantu anak-anak yatim dan miskin di Sulawesi Selatan.
Jusuf meninggal dunia pada 8 September 2004 di Makassar akibat penyakit jantung.
Ia dimakamkan di Taman Makam Pahlawan Panaikang dengan upacara militer yang dipimpin oleh Presiden Megawati Soekarnoputri.
Markas Besar TNI memerintahkan pengibaran bendera setengah tiang di seluruh markas TNI sebagai bentuk penghormatan terakhir.