Tidak banyak yang diketahui tentang kehidupan awal Jusuf selain fakta ia adalah seorang Bugis bangsawan seperti yang disaksikan oleh nama tituler Andi pada namanya.
Dia menempuh pendidikan dasar di Makassar dan melanjutkan ke sekolah menengah di Surabaya.
Pada 1945, dia bergabung dengan Tentara Keamanan Rakyat (TKR) yang kemudian menjadi Tentara Nasional Indonesia (TNI).
Dia mengikuti berbagai pendidikan militer seperti Sekolah Perwira Cadangan (1946), Sekolah Perwira Infanteri (1947), dan Sekolah Staf dan Komando Angkatan Darat (1955).
Jusuf memiliki karier militer yang cemerlang.
Dia pernah bertugas di berbagai wilayah seperti Sumatera, Kalimantan, Sulawesi, dan Papua.
Di medan pertempuran, Jusuf pernah terjun dalam operasi-operasi militer seperti Operasi Seroja (penumpasan pemberontakan DI/TII), Operasi Trikora (pembebasan Irian Barat), dan Operasi Dwikora (konfrontasi dengan Malaysia).
Pada tahun 1964, Jusuf diangkat menjadi Menteri Perindustrian Ringan oleh Presiden Soekarno. Jabatan ini ia emban hingga tahun 1968. Selanjutnya ia menjadi Menteri Perdagangan hingga tahun 1968 dan kemudian menjadi Menteri Perindustrian hingga tahun 19781.
Pada 1978, Jusuf dilantik menjadi Panglima ABRI sekaligus Menteri Pertahanan dan Keamanan oleh Presiden Soeharto.
Jabatan ini ia emban hingga tahun 1983.
Sebagai panglima, Jusuf dikenal sebagai sosok yang dekat dengan rakyat dan prajurit.
Ia sering mendatangi barak-barak prajurit dan menanyakan kesejahteraan mereka. Ia juga tidak pernah bermain golf seperti pejabat lainnya.