Sejak saat itu, selama 17 tahun, ia terus mendalami ilmu agama dari satu pesantren ke pesantren lainnya.
Pada 1927, saat ia kembali dari ibadah haji, Zainal mendirikan pesantren di Kampung Cikembang dengan nama Sukamanah.
Melalui pesantren ini, ia menyebarluaskan ilmu agama Islam mezhab Syafi'i.
Zainal Mustafa pun terus bertumbuh menjadi pemimpin dari kegiatan-kegiatan keagamaan.
Tahun 1933, ia masuk Jamiyyah Nahdlatul Ulama (NU) dan diangkat menjadi wakil ro'is syuriah NU cabang Tasikmalaya.
Sebelum kepada Jepang, Zainal Mustafa, melalui ceramah-ceramahnya, sejatinya juga keras terhadap pemerintah kolonial Hindia Belanda.
Beberapa kali Zainal Mustafa diminta untuk turun dari mimbar oleh kaia-kiai yang mendukung Belanda.
Pada saat Perang Dunia II, tepatnya 17 November 1941, Zaenal Mustafa bersama Ruhiat, haji Syirod, dan Hambali Syafei ditangkap Belanda atas tuduhan menghasut rakyat untuk memberontak pemerintah Hindia Belanda.
Ketiga tokoh ini ditahan di penjara Tasikmalaya.
Sehari kemudian, mereka dipindahkan ke penjara Sukamiskin, Bandung, dan baru dibebaskan pada 10 Januari 1942.
Meskipun sudah pernah dipenjara, Zainal tidak menghentikan aksinya.
Akhir Februari 1942, Zainal Mustafa bersama Ruhiat kembali ditangkap dan dimasukkan ke penjara Ciamis atas tuduhan yang sama.