Yamin juga punya peran sentral saat Sumpah Kongres Pemuda II yang kelak kita kenal sebagai Sumpah Pemuda. Sumpah Pemuda adalah janji para pemuda yang diucapkan pada 28 Oktober 1928.
Ketika itu terdapat sejumlah organisasi pemuda yang masih bersifat kedaerahan dan mengutamakan kepentingan sukunya masing-masing. Salah satu organisasi pemuda kedaerahan tersebut adalah Jong Sumatranen Bond, yang dipimpin oleh Mohammad Yamin.
Seiring berjalannya waktu, para kelompok pemuda mulai menyadari untuk menyatukan perjuangan demi kepentingan bangsa, tidak lagi mengutamakan kepentingan sendiri. Akan tetapi, upaya peleburan organisasi pemuda ini ditolak oleh Mohammad Yamin. Mohammad Yamin lebih memilih untuk membentuk federasi dari setiap perkumpulan yang ada.
Alasannya, karena perkumpulan dari setiap daerah diyakini lebih bisa bergerak leluasa tanpa adanya aturan yang membatasi pergerakan. Sampai Kongres Pemuda II digelar, Mohammad Yamin masih menolak dilakukannya fusi. Meskipun begitu, Mohammad Yamin tidak ingin Kongres Pemuda II berakhir tanpa hasil apa-apa.
Ketika kongres berlangsung, Mohammad Yamin menulis gagasan Sumpah Pemuda dalam sebuah kertas. Kemudian, kertas itu ia sodorkan kepada Ketua Kongres, Soegondo Djojopoespito. Hingga saat ini, setiap tanggal 28 Oktober akan diperingati sebagai Hari Sumpah Pemuda.
Ketika Jepang membentuk BPUPKI, Mohammad Yamin terpilih menjadi salah satu anggotanya. Di situ dia banyak memainkan peran penting. Ia menjadi salah satu dari tiga tokoh yang merumuskan dasar negara Indonesia dalam sidang BPUPKI pada 29 Mei 1945.
Rumusan dasar negara yang diajukan Mohammad Yamin adalah sebagai berikut.
- Peri Kebangsaan
- Peri Kemanusiaan
- Peri Ketuhanan
- Peri Kerakyatan
- Kesejahteraan Rakyat