Saat kembali lagi ke kampus dan mendalami ilmu teknik sipil, Arafat membentuk organisasi mahasiswa Union of Palestinian Students dengan tujuan memperjuangkan negara Pelestina Merdeka.
Arafat juga menjadi anggota militer aktif Mesir ketika konflik Terusan Suez berkecamuk.
Gerakan Palestina Merdeka (People Liberation Organisation/PLO) yang dikobarkan Arafat ternyata mendapat banyak dukungan.
Salah satunya dari rekan-rekannya yang berasal dari Kuwait, Yahia Ghavani dan Abu Jihad.
Bersama rekannya itu, Arafat lalu membentuk organisasi al Fatah yang mempunyai kekuatan militer sehingga perjuangan fisik melawan Israel makin nyata.
Tahun 1968, Israel yang menganggap al-Fatah sangat berbahaya melancarkan operasi penumpasan.
Terjadi pertempuran sengit di kawasan Al-Karameh.
Gempuran itu mengakibatkan 150 warga Palestina tewas sementara di pihak Israel 29 tentara gugur.