Di tempat ini pula Tan Malaka bertemu dengan Semaoen, tokoh pendiri Partai Komunis Indonesia (PKI). Semaoen sangat tertarik dengan Tan Malaka karena, konon, baginya Tan Malaka merupakan bumiputra terpelajar pertama yang mengenal dan akrab dengan marxisme.
Kongres CSI di Yogyakarta berlangsung dalam suasana persaingan antara SI dan PKI. (Seperti kita ketahui PKI lahir dari rahim Sarekat Islam dengan julukan "Sarekat Islam Merah")
Baca Juga : Sejarawan Belanda: Makam di Selopanggung Terbukti Makan Tan Malaka
Belakangan, hubungan antara SI dan PKI secara resmi terputus pada Kongres Luar Biasa CSI di Surabaya tanggal 6-10 Oktober 1921. Tan Malaka lebih condong ke PKI ketimbang dengan SI.
Sudah barang tentu kedatangan Tan Malaka ke Jawa bagi Semaoen merupakan siraman darah segar kepada PKI dalam konteks persaingan dengan SI untuk menarik pengikut. Semaoen kemudian meminta Tan Malaka untuk mendirikan sekolah-sekolah berdasarkan doktrin Marxisme untuk anak-anak anggota SI.
Keberhasilan Tan Malaka dalam pendirian sekolah-sekolah Marxis inilah antara lain yang melambungkan namanya sehingga terpilih menjadi Ketua PKI, menggantikan Semaoen pada Kongres PKI ke-8 di Semarang tanggal 25 Desember 1921. Semaoen sendiri akan berangkat ke Moskwa.
Pertentangan SI dan PKI semakin mengeras. Padahal sebenarnya Tan Malaka menghendaki keduanya tetap bersatu karena hanya dengan cara itulah bangsa Indonesia bisa menghadapi tekanan dari penjajah.
Baca Juga : Lorong Masa: Tan Malaka, Tokoh Sunyi di Balik Proklamasi
Seruan untuk bersatu menjadi tema besar kongres PKI ke-8 pada tanggal 25 Desember 1921 di Semarang. Sampai empat jam ia berpidato membela gagasan persatuan.
Persatuan juga merupakan garis yang sejak semula dianut oleh pendahulunya, Semaoen. Tan Malaka membandingkan sukses Kongres Nasional India dan gagalnya organisasi pergerakan Indonesia menggalang persatuan.
Akhirnya CSI sepakat untuk bekerja sama kendati hanya dalam program-program khusus. Kongres ditutup dengan mengirim telegram pernyataan dukungan kepada Kongres Nasional India.
Namun tidak lama setelah telegram terkirim, tanggal 13 Februari 1922 ia ditangkap oleh pemerintah kolonial Belanda di Bandung karena dianggap mengobarkan perlawanan terhadap kolonialisme.