Bergabungnya Rachmat dalam gerbong perjuangan Kahar di Mandar tidak terlalu mendapat pertentangan karena memanfaatkan hubungan emosional sebagai eks-gerilyawan. M. Idris dan Sunusi Tande berhasil direkrut oleh Tahir Rachmat pada tahun 1953.
Keikutsertaan Idris ini dilandasi oleh hubungan emosional dengan Tahir Rachmat yang tak lain adalah saudaranya sendiri, sebagai sesama pejuang mengusir penjajah Belanda. Apalagi saat itu sebagian besar para pejuang kemerdekaan belum seluruhnya dinyatakan resmi masuk dalam keanggotaan TNI, sehingga bergabung ke Kahar Muzakkar adalah merupakan alternatif.
Dalam perkembangannya, gerakan Kahar berafiliasi dengan organisasi pergerakan Karto Suwiryo di Jawa Barat sehingga dikenal dengan Gerakan DI/TII. Gerakan ini kemudian menjadikan wilayah Mandar ke dalam basis militer Commando Posten II (C.P. II) dengan M. Tahir Rachmat sebagai komandannya.
Sedangkan dari struktur Pertahanan Militer atau Wehrkreise (W.K.) Kabupaten Mandar masuk kedalam W.K. IV. Secara struktur, DI/TII di Mandar membagi pasukannya ke dalam empat Batalyon: Batalion I, Cahaya Talolo, dipimpin oleh Djalaluddin dan kemudian diganti oleh Sunusi sebab Djalaluddin meninggal dunia akibat sakit paru-paru; Batalion II, dipimpin oleh Banru berkedudukan di Balanipa Polewali-Mamasa; Batalion III, Lereng Sandapan dipimpin oleh Abdul Hamid Taat (Katjo) berkedudukan di Galung Sanggala (Sendana); dan Batalion IV dipimpin oleh Muslimin berkedudukan di Mapilli Polewali.
Keempat Batalion tersebut di bawah naungan Brigade (Be.) C.P. II, pimpinan M. Tahir Rachmat. Brigade inilah yang bertanggung jawab kepada Panglima Besar DI/TII Sulawesi Selatan, Abdul Kahar Mudzakkar (Fikram, 2018).
Setelah berhasil mendapatkan relasi dengan bangsawan lokal dan anggota TNI dalam rangka mendapatkan dana dan senjata, maka dimulailah rekrutmen warga setempat.
Gerakan DI/TII menggunakan ceramah dari masjid ke masjid dalam rangka menarik simpati warga. Momentum Ramadan juga dipergunakan sebagai kesempatan untuk menggiatkan agitasi dan propaganda. Kebanyakan yang tertarik dan bergabung ke dalam pasukan DI/TII adalah kalangan pemuda.
Dapatlah dikatakan 60% orang Mandar saat itu memihak ke DI/TII karena isu pendirian Negara Islam memperoleh dukungan yang besar. Meskipun sebagian lainnya tidak tahu-menahu tentang persoalan politik dan sekadar mengikuti arus semangat yang berkembang saat itu (M. Nurkhoiron dan Ruth Indiah Rahayu, 2012).
Aco Fikram (2018) juga menerangkan bahwa secara struktur DI/TII di Mandar terdiri ke dalam tiga bagian. Pertama, Polewali dan Majene tergabung kedalam struktur empat batalion, yakni hasil dari Konferensi Pumbedjagi. Kedua, untuk wilayah Mandar Utara (Pasangkayu), dikuasai oleh A.G. Sakti yang tergabung kedalam CP I dan Momoc Merah. Pasukan TII di Mandar Utara dominan orang-orang dari Bugis (Palopo terutama). Ketiga, untuk wiayah Mamuju kota (Tappalang hingga Sampaga), mempunyai struktur tersendiri.
Dari tahun 1953, Wilayah Mandar pada umumnya adalah salah satu medan aktivitas DI/TII yang menimbulkan kekacauan dan membawa penderitaan berkepanjangan bagi penduduk, terutama yang tidak mendukung garis gerakan DI/TII.
Hampir semua daerah yang ada di Mandar (terlebih Mamuju), dinyatakan sebagai daerah tertutup karena menjadi basis perjuangan DI/TII Kahar. Disamping masyarakat yang kontra dengan DI/TII, tidak sedikit juga masyarakat yang mendukung gerakan tersebut dikarenakan dengan slogan ke-Islamannya, bahkan ulama dan beberapa Organisasi Islam (Ormas) andil di dalam perjuangan mereka.
Imbas dari kekacauan yang ditimbulkan oleh gerakan ini, pada tahun 1957 hampir seluruh masyarakat sipil melakukan hijrah (dari satu daerah ke daerah yang lain).