Saat masih menginjak usia remaja, Alimin termasuk pemuda yang aktif hingga dapat terlibat di beberapa organisasi.
Ia teejut dalam pergerakan Nasional seperti Budi Utomo, dan Alimin juga dikenal sebagai tokoh yang patut diperhitungkan di dalam organisasi Sarekat Islam.
Dalam perjalannya, Sarekat Islam (SI) terpecah karena adanya orang-orang di dalam SI mengikuti paham komunis.
Dari situlah kemudian muncul istilah baru yakni SI Merah di Semarang yaitu orang-orang SI yang menganut paham komunis.
Alimin saat itu memilih dan bergabung bersama Semaun di SI merah. Namun seiring berjalannya waktu, Alimin lantas bergabung ke Partai Komunis Indonesia (PKI).
Tidak sampai di situ, karena keterampilan Alimin, iapun dipilih dan menjadi salah satu pemimpin di Partai yang bergambar palu dan arit itu.
Alimin tidak puas hanya di PKI saja, ia pun turut andil dalam organisasi Komintern yaitu organisasi Komunis Internasional.
Ia diketahui ikut melakukan berbagai perlawanan terhadap kolonialisme barat tidak hanya di Indonesia saja tapi di beberapa Negara.