Romo, yang lahir di Medan, Sumatera Utara, pada 21 Oktober 1959, memulai karier politiknya di Partai Persatuan Pembangunan (PPP).
Selama bergabung dengan PPP, ia berhasil terpilih sebagai Anggota DPRD Kota Medan untuk periode 1997-1999.
Baca Juga:
Presiden Prabowo Perintahkan Anak Buahnya Bersih dari Dendam Politik
Ia juga pernah menjabat sebagai Ketua Pengurus Anak Cabang (PAC) PPP untuk Kecamatan Medan Timur dan Medan Perjuangan pada periode 1985-1995, serta menjabat Wakil Ketua Dewan Pimpinan Cabang (DPC) PPP Kota Medan antara tahun 1995 dan 2000.
Setelah itu, Romo pindah ke Partai Bintang Reformasi (PBR), di mana ia menjabat sebagai Ketua Dewan Pimpinan Wilayah (DPW) PBR untuk periode 2002-2006.
Di bawah bendera PBR, Romo berhasil menjadi anggota DPRD Provinsi Sumatera Utara untuk periode 2004-2009.
Baca Juga:
Pimpin Sidang Kabinet Paripurna, Presiden Sampaikan Rencana Kunjungan ke Luar Negeri
Kemudian, ia beralih ke Partai Gerindra dan menjabat sebagai Wakil Ketua Umum Dewan Pimpinan Pusat (DPP) PBR untuk periode 2006-2011.
Setelah bergabung dengan Gerindra, Romo langsung mengisi posisi sebagai Dewan Penasihat DPP Partai Gerindra untuk periode 2012-2020.
Saat ini, Muhammad Syafi'i menjabat sebagai Wakil Ketua Majelis Kehormatan DPP Partai Gerindra untuk periode 2020-2025.