Setelah dilepaskan, dia naik pangkat menjadi komandan batalion kedua Palmach sebelum dipromosikan sebagai Kepala Perwira Operasi Palmach Oktober 1947.
Ketika Perang Arab-Israel pecah di 15 Mei 1948, Rabin menjadi komandan Brigade Harel, dan memimpin operasi melawan pasukan Mesir di Negev.
Dia dilantik menjadi wakil komandan Operation Danny, misi skala besar yang melibatkan empat brigade Pasukan Pertahanan Israel (IDF).
Operasi itu merebut kota Ramle dan Lydda, dan membuat sekitar 70.000 populasi Arab di sana diusir dalam surat perintah yang ditandatangani Rabin.
Setelah itu, Rabin dipromosikan menjadi Kepala Operasi Front Selatan dan berpartisipasi dalam pertempuran mayor seperti Operation Yoav dan Operation Horev.
Di awal 1949, dia menjadi bagian delegasi Israel yang membahas gencatan senjata dengan Mesir di Pulau Rhodes, dan menghasilkan Perjanjian Gencatan Senjata 1949.
Antara 1956-1959, dia menjadi Kepala Komando Utara.
Sebelumnya pada 1953, dia lulus dari perguruan staf Inggris. Di 1964, dia dilantik sebagai Kepala Staf IDF oleh Levi Eshkol yang menggantikan David Ben-Gurion sebagai PM sekaligus Menteri Pertahanan.
Di bawah kepemimpinannya, IDF menuai sejumlah kemenangan melawan Mesir, Suriah, dan Yordania dalam Perang Enam Hari di 1967.
Setelah memutuskan pensiun dari IDF, Rabin menjadi Duta Besar Israel di PBB pad 1968 hingga lima tahun berikutnya.
Di Desember 1973, atau dua bulan setelah Perang Yom Kippur, Rabin terpilih sebagai anggota Parlemen Israel (Knesset) dari Partai Buruh.
Maret 1974, dia menjadi Menteri Buruh di masa pemerintahan PM Golda Meir yang kemudian meletakkan jabatannya sebulan berselang.