Keberhasilan Tan Malaka dalam pendirian sekolah-sekolah Marxis inilah antara lain yang melambungkan namanya sehingga terpilih menjadi Ketua PKI, menggantikan Semaoen pada Kongres PKI ke-8 di Semarang tanggal 25 Desember 1921. Semaoen sendiri akan berangkat ke Moskwa.
Pertentangan SI dan PKI semakin mengeras. Padahal sebenarnya Tan Malaka menghendaki keduanya tetap bersatu karena hanya dengan cara itulah bangsa Indonesia bisa menghadapi tekanan dari penjajah.
Seruan untuk bersatu menjadi tema besar kongres PKI ke-8 pada tanggal 25 Desember 1921 di Semarang. Sampai empat jam ia berpidato membela gagasan persatuan. Persatuan juga merupakan garis yang sejak semula dianut oleh pendahulunya, Semaoen. Tan Malaka membandingkan sukses Kongres Nasional India dan gagalnya organisasi pergerakan Indonesia menggalang persatuan.
Akhirnya CSI sepakat untuk bekerja sama kendati hanya dalam program-program khusus. Kongres ditutup dengan mengirim telegram pernyataan dukungan kepada Kongres Nasional India. Namun tidak lama setelah telegram terkirim, tanggal 13 Februari 1922 ia ditangkap oleh pemerintah kolonial Belanda di Bandung karena dianggap mengobarkan perlawanan terhadap kolonialisme.
Dalam Pengasingan
Maret 1922 dia berangkat kembali ke tempat pembuangannya, Belanda. Di sana sosoknya malah ditempatkan pada posisi amat tinggi sampai dicalonkan menjadi anggota Tweede Kamer (Majelis Rendah - Red.) dari golongan komunis pada pemilu bulan Juli 1922 di Belanda. Namun usaha itu gagal.
Kemudian ia melangkah ke Jerman. Di negeri ini ia melamar menjadi anggota legiun asing tetapi ditolak. Di Berlin ia bertemu tokoh Partai Komunis Indonesia, Darsono. November 1922 Tan Malaka menghadiri Konferensi Komunis Internasional (Komintern) di Moskwa mewakili Partai Komunis Indonesia. Di tempat inilah Tan Malaka semakin menunjukkan kemahiran dan kematangannya dalam berpolitik.
Dia diangkat menjadi Wakil Komintern untuk Asia Timur dan mulai berkedudukan di Kanton pada Desember 1923. Di kota inilah ia menerbitkan majalah The Dawn (Fajar) sebagai salah satu alat perjuangan partai komunis. Di kota ini pula Tan Malaka pada 1924 menulis buku Naar de Republiek Indonesia.
Awal 1926 dia masuk ke Singapura setelah sebelumnya singgah beberapa saat di Filipina untuk menyembuhkan penyakit paru-parunya. Meski tinggal tak lama, di Filipina dia sempat menjadi koresponden El Debate. Di Singapura, ia menulis lagi buku lain, Massa Actie.
Kedua buku itu ternyata menjadi karya-karya monumental dan menjadi sumber inspirasi tokoh-tokoh pergerakan di Indonesia. Bung Karno dan Anwari ke mana-mana selalu membawa buku tersebut. Dalam pledoinya di Landraad (pengadilan) Bandung yang diberi judul Indonesia Menggugat, Bung Karno mengutip beberapa hal dari Massa Actie.
Buku tersebut juga mengilhami terciptanya frasa "Indonesia tanah tumpah darahku" dalam Lagu Kebangsaan Indonesia Raya ciptaan W.R. Supratman.
Dari Singapura, Tan Malaka menyeberang ke Thailand, kemudian ke Filipina lagi. Namun di tempat ini ia tertangkap dan diusir keluar dari Filipina. Menumpang kapal Suzanna, Tan Malaka berlayar ke Shanghai. Setelah berpindah-pindah tempat di seputar kawasan Asia, tanggal 10 Juni 1942 ia berlayar ke Medan dari Penang, Malaysia. Saat itu Indonesia sudah diduduki oleh Bala Tentara Jepang.