Berawal dari Sarekat Ambon
Ketika itu Surabaya adalah kantong pergerakan nasional yang penting. Di sana adalah pusat Boedi Oetomo dan Indonesische Studie Club yang dipimpin oleh Soetomo. Di Surabaya Johannes juga mulai aktif dalam Sarekat Ambon (SA) dan pergerakan nasional. Ide-ide dan perspektif baru yang dibawanya dari Eropa mulai dimasukkan dalam tubuh SA, termasuk ide persatuan dan kemerdekaan bangsa Indonesia.
Dari SA, Johannes kemudian menjadi anggota Partai Indonesia Raya (PARINDRA). Pada 1-3 Januari 1932 Kongres Partai Indonesia Raya diadakan di Surabaya, di hadapan tokoh-tokoh seperti Soekarno, Dr. Soetomo, Mr. Iskak, Mr. Sartono, Oto Iskandar Di Nata, Moh. Husni Thamrin, dan lainnya, Johannes membacakan prasarannya yang berjudul “Azab Sengsara Kepulauan Maluku”.
Di situ dia menguraikan bagaimana Kepulauan Maluku ditaklukkan oleh bangsa Barat dan bagaimana VOC memonopoli perdagangan dan pelayaran honginya. Dia juga menggambarkan betapa kejamnya VOC yang merusak kehidupan ekonomi dan sosial sehingga rakyat Maluku hidup dalam kesengsaraan dan penderitaan.
Di situ dia juga menyampaikan surat-menyurat antara Serikat Ambon di Ambon dengan para raja-raja di Kerajaan Maluku sebagai bukti rintangan atau kendala terhadap perjuangan Serikat Ambon. Tak pelak, uraian itu mendapat sambutan meriah dari kalangan tokoh-tokoh nasional yang disebutkan di atas.
Sebaliknya, pemerintah Hindia Belanda menganggap pidato Johannes Latuharhary itu sebagai sikap seorang pegawai yang tidak loyal. Akibatnya tekanan-tekanan berat menimpa dirinya. Ultimatum diberikan terhadapnya: tetap menjadi ketua Pengadilan Negeri dengan prospek karier yang menanjak atau jalan politik tapi harus keluar dari dinas pemerintahan.
Setelah meminta pendapat dari teman-teman seperjuangannya, juga meminta pertimbangan dari istrinya, Johannes memutuskan berhenti sebagai ketua pengadilan dan keluar dari dinas pemerintahan kolonial. Dia mengirim kepada pemerintah pusat di Batavia tentang sikapnya dan pemerintah kolonial Hindia Belanda mengabulkan permintaannya.
Singkat cerita, Johannes Latuharhary terpilih menjadi anggota Regentschapsraad (Dewan Perwakilan Kabupaten) di Kraksaan (sekarang wilayah Probolinggo) kemudian pindah ke Malang. Dia kemudian terpilih menjadi anggota Dewan Perwakilan Provinsi Jawa Timur di Surabaya dan memasuki Fraksi Nasional hingga 1942.
Pada masa pendudukan Jepang, karena Johannes Latuharhary seorang tokoh Pergerakan Nasional dan pemimpin PARINDRA, maka pemerintah mencurigai aktivitasnya. Akibatnya dia tiga kali masuk penjara. Tapi berkat usaha dan perjuangan sang istri, Johannes bisa dibebaskan dan bisa kembali berkumpul dengan keluarganya.
Menolak tujuh kata pada sila Ketuhanan
Pada September 1942, Johannes dan keluarganya pindah ke Jakarta dan bekerja di bidang sosial. Menjelang Proklamasi Kemerdekaan Indonesia, Johannes Latuharhary dipilih menjadi salah satu anggota BPUPKI.
BPUPKI adalah tempat di mana anggotanya bisa mengeluarkan pendapatnya tentang bentuk negara (federal atau kesatuan), sifat konstitusi (sederhana dan sementara), dan lain sebagainya.