Organisasi tersebut merupakan perkumpulan para pemuda asal Sumatera yang bersekolah di Jakarta.
Dia menjadi pemimpin yang aktif di Jong Sumatranen Bond. Selain itu, Yamin juga tergabung sebagai anggota Perhimpunan Pelajar-Pelajar Indonesia (PPPI).
Kongres Pemuda I
Dalam Kongres Pemuda I, Yamin ditunjuk untuk membuat naskah rumusan putusan Kongres Pemuda Indonesia (Sumpah Pemuda).
Dia tidak sendiri melainkan bersama tiga orang lainnya, yaitu M. Tabrani, Sanusi Pane, Jamaludin.
Selain itu, Yamin juga melakukan pidato mengenai “Persatuan Kebangsaan Indonesia”.
Melansir dari buku “Dari Kongres Pemuda Indonesia Pertama ke Sumpah Pemuda” karya B. Sularto (1986), terdapat perdebatan pendapat antara Yamin dengan M. Tabrani pada 2 Mei 1926.
Baris ketiga dari naskah rumusan yang dibuat oleh Yamin itu ditolak oleh M. Tabrani. Baris itu awalnya berbunyi, “Kami poetra dan poetri Indonesia mendjoendjoeng bahasa persatoean, bahasa Melajoe”.
Sebagai ketua Kongres Pemuda I, M. Tabrani menolak usulan naskah itu.
Dia ingin bahasa Melayu diganti menjadi bahasa Indonesia untuk menjadi bahasa persatuan.
Perbedaan pendapat itu pun membuat keputusan naskah ditunda.
Kongres Pemuda II
Di Kongres Pemuda II, Yamin menjabat sebagai sekretaris yang mewakili Jong Sumatranen Bond.
Rapat pertama diselenggarakan pada Sabtu, 27 Oktober 1928 di Gedung Katholieke Jongenlingen Bond (KJB), Lapangan Banteng.
Melansir dari Museum Sumpah Pemuda, Yamin saat itu membicarakan soal arti dan hubungan persatuan dengan pemuda.
Menurutnya, terdapat lima faktor yang bisa memperkuat persatuan Indonesia, yaitu sejarah, bahasa, hukum adat, pendidikan, dan kemauan.
Rapat kedua diselenggarakan pada 28 Oktober 1928 di Gedung Oost-Java Bioscoop. Dalam sesi itu dibahas masalah pendidikan di mana yang sangat penting untuk anak.
Rapat ketiga diselenggarakan pada 28 Oktober 1928 di di Gedung Indonesische Clubgebouw, Jalan Kramat Raya 106.
Saat itu, rumusan Sumpah Pemuda buatan Yamin terlahir.
Yamin memberikan secarik kertas yang berisi naskah rumusan kepada ketua Kongres Pemuda II, Soegondo Djojopoespito.