Tahun 1937, ia memutuskan keluar dari PSII untuk mendirikan gerakan politiknya sendiri yang mengadvokasi Negara Islam Indonesia di masa depan berdasarkan hukum syariah.
Pada masa perang kemerdekaan Indonesia, tahun 1945 hingga 1949, Kartosoewirjo turut terlibat aktif.
Namun, sikap kerasnya membuat Kartosoewirjo kerap bertolak belakang dengan pemerintah.
Dia sempat menolak pemerintah pusat agar seluruh Divisi Siliwangi melakukan long march ke Jawa Tengah.
Perintah long march tersebut merupakan konsekuensi dari Perjanjian Renville.
Perjanjian Renville ini dibentuk hanya untuk mengelabui orang-orang penting agar bersedia patuh terhadap Hindia Belanda.
Oleh sebab itu, Kartosoewirjo menolak dengan tegas semua perjanjian yang diadakan dengan Belanda.
Karena rasa kecewanya terhadap pemerintah pusat, Kartosoewirjo bertekad untuk membentuk Negara Islam Indonesia (NII).
Tokoh yang pertama kali bercita-cita ingin mendirikan Negara Islam Indonesia ialah SM Kartosoewirjo.
Kartosoewirjo kemudian mengumumkan terbentuknya NII pada 7 Agustus 1949.
Beberapa daerah yang menyatakan menjadi bagian dari NII adalah Jawa Barat, Sulawesi Selatan, dan Aceh.
Terbentuknya NII kemudian memancing reaksi dari pemerintah Indonesia dengan menjalankan operasi untuk menangkap Kartosoewirjo.