Pada 1959 Bapak Abdul Azis berinisiatif mendirikan komunitas pengajian bapak-bapak di Jalan Kebon Kacang XII, Tanah Abang, Jakarta. Pengajian ini di bawah bimbingan almarhum Kyai Abdurrahman Siddik. Agar rencana baik itu terlaksana diadakanlah beberapa pertemuan, termasuk di rumah Bapak Mohammad Syafei.

Madrasah tersebut mendapat respons positif dari masyarakat sekitar. Lantaran jumlah murid semakin bertambah, jamaah pengajian bersama warga tergerak untuk mengumpulkan dana dan membeli tanah seluas 192 m² dari H. Jamsari seharga Rp 390 untuk pembangunan ruang-ruang madrasah. Dari penggalangan dana melalui lelang Al-Quran dan sedekah warga ini terbangun dua ruang kelas dan satu kantor pada 1962.

Dengan perkembangan yang pesat, atas usulan almarhum Bapak Anwar Assik, pada 1965 didirikan “Yayasan Lembaga Pendidikan Al-Ihsan” untuk mengelola sekolah ini secara lebih terstruktur. Yayasan ini diresmikan melalui akta No. 48 yang diterbitkan oleh notaris Mochtar Affandi pada 31 Mei 1965.