Pesantren Mahasiswa Al Hikam resmi berdiri pada 17 Ramadan 1413 bertepatan dengan 21 Maret 1992. Sebagai pelopor pesantren khusus mahasiswa, lembaga pendidikan Islam ini memiliki tujuan memadukan dimensi positif perguruan tinggi yang menekankan pada ilmu pengetahuan dan teknologi dengan dimensi positif pesantren yang akan menjadi tempat penempaan kepribadian dan moral yang benar.

Dengan model pendidikan ini, Pesantren Mahasiswa Al-Hikam menginginkan terwujudnya kesatupaduan antara ilmu pengetahuan dan agama secara utuh, tanpa dikotomi keilmuan. Sehingga, keyakinan agama memiliki pijakan ilmiah-rasional dan ilmu pengetahuan senantiasa dinaungi oleh nilai-nilai agama.

Awal berdirinya pesantren Mahasiswa Al-Hikam digagas oleh KH. A. Hasyim Muzadi yang mulai berdomisili di Jalan Cengger Ayam no. 5, Kelurahan Tulusrejo, Lowokwaru, Kota Malang. Sebagai ulama, ia merasa memiliki tanggung jawab berkhidmat pada umat seperti yang dipesankan oleh para gurunya termasuk Kiai Anwar, pendiri pondok Pesantrean An Nur Bululawang, Malang .

Sebagai langkah awal, Hasyim Muzadi yang pada waktu itu sudah terkenal sebagai aktivis organisasi Nahdlatul Ulama dan mubaligh, merintis pengajian rutin pada setiap Jumat yang dilakukan secara bergantian dari rumah ke rumah. Pada tahun 1984, bersama dengan masyarakat Jantisari di atas tanah wakaf keluarga M. Cholil Alwi  ia membangun surau kecil yang nantinya akan menjadi pusat pembinaan keagamaan.

Kegiatan keagamaan yang dirintis dan dibina Hasyim Muzadi di mushola kecil yang diberi nama At Taubah berjalan lancar dan mendapat respon positif dari warga masyarakat Jantisari dan sekitarnya. Pada tahun 1986, pamong desa Tulusrejo H. Nachrowi mewakafkan tanahnya seluas 800 meter persegi untuk pembangunan masjid. Pembangunan masjid akhirnya selesai pada tahun 1989 dan diberi nama Al-Ghazali.

Ketika masjid sudah berdiri, Hasyim Muzadi melanjutkan kegiatan pengajian rutin yang digelar setiap malam Ahad dan malam Kamis. Jamaah yang hadir pun semakin banyak termasuk dari warga Jantisari, Bantaran, Bukirsari, Kendalsari dan Karang Tengah. Khusus malam Kamis, dilaksanakan dengan istigosah yang berlanjut hingga sekarang. Seiring berjalannya waktu,  semakin besar pula kepercayaan masyarakat padanya. Dan, cita-cita Hasyim Muzadi mendirikan pesantren mendapat dukungan besar dari masyarakat.

Sebagai langkah awal dalam mendirikan pesantren, disepakati bersama panitia membentuk yayasan yang akan menjadi sentral semua program yang akan dikembangkan. Maka pada tanggal 3 Juli 1989, resmi berdiri Yayasan Al-Hikam. Yayasan ini pada awalnya bergerak dalam tiga bidang garapan; pertama, Majlis Ta’lim dan Dakwah; kedua, Pengembangan Sumber Daya Manusia; ketiga, Pesantren Mahasiswa Al Hikam sebagai garapan utama.

Pada awal berdiri, Al-Hikam hanya menerima santri dari kalangan mahasiswa perguruan tinggi non-agama di Malang. Sejak tahun 2003, Al Hikam menampung santri lulusan pesantren salaf trandisional dari seluruh pelosok negeri untuk didik dalam Sekolah Tinggi Agama Islam Al Hikam atau Ma’had Aly Al-Hikam. Adanya perbedaan latar belakang santri ini kemudian dikenal istilah santri ‘pesma’ untuk santri yang mukim di pondok tapi kuliahnya di luar dan santri ‘ma’had aly’ untuk santri yang mukim dan kuliah di Al Hikam. Dengan ikhtiyar ini, diharapkan akan terwujud komunikasi antara ilmu agama dan ilmu pengetahuan dalam ‘learning society’ yang tercipta di tengah-tengah pondok pesantren Al Hikam.