Awalnya, gagasan untuk mendirikan sebuah pondok pesantren dengan nama “Darul ‘Ulum” tercetus pada 8 Agustus 1969 oleh 2 orang bersaudara, yakni: Ky. Muhammad Dahlan (wafat pada Bulan Ramadhan 1430 H/2009 M.) dan K.H. Muhammad Abdul Mudjib. Namun karena masih adanya beberapa kendala untuk mendirikannya, maka gagasan tersebut diawali dengan didirikannya sebuah masjid (baca: Masjid Mujahiddin) yang sederhana untuk mengembangkan syi’ar Islam. Masjid, selain sebagai tempat ibadah pun digunakan untuk kegiatan madrasah diniyah.