Pada awal tahun 1943, surau yang dimiliki oleh ayah Dato’ Ahmad Razali telah dipindahkan ke perkarangan rumah Dato’ Hj. Ahmad Razali di hujung Tembok. Kayu-kayan tersebut dihanyutkan melalui rakit ke Sungai Perak. Dengan berkat permuafakatan seramai 40 orang, bangunan induk berjaya didirikan dengan bersistemkan Sekolah Menengah Pondok dan pengasas yang pertama ialah Dato’ Hj. Ahmad Razali sendiri.
Pada peringkat permulaannya, satu kelas sahaja dibina dan hanya mampu menampung murid seramai 20 orang. Selang beberapa bulan, 3 buah kelas telah ditambah supaya memberi keselesaan kerana wujudnya kesedaran pada diri masyarakat desa tentang pentingnya ilmu agama yang harus dibekalkan kepada anak-anak mereka. Bagi merealisasikan impian ini, Ustaz Salahuddin dipanggil untuk mengajar di sekolah ini.
Dengan terbinanya Jawatankuasa Majlis Ulamak dan disusuli oleh Jawatankuasa Penaja, mereka bermuafakat untuk membina bangunan tambahan yang bertiangkan buluh dan beratapkan nipah 20” x 50” tanpa berdinding. Memandangkan pelajar kian bertambah, bermulanya permuafakatan orang kampung dan terbinalah bangunan yang ketiga yang bertujuan untuk mengasingkan pelajar lelaki dan perempuan. Manakala bangunan induknya pula dijadikan surau untuk menunaikan solat. Kesulitan mendapatkan tenaga pengajar pada masa itu menyebabkan AJK Majlis Ulamak silih berganti untuk mengajar.Bangunan induk pada masa itu dijadikan tempat latihan syarahan, bahas dan pantun. Dengan berkat kegigihan Dato’ Ahmad Razali akhirnya dapat juga melahirkan generasi yang berkat.
Di samping itu juga, sekolah dijadikan sebagai tempat Musabaqah Al-Quran, kegiatan masyarakat setempat, Institusi Politik Umno dan penyatuan penyatuan masyarakat setempat ( Pemimpin Kecil Kampong Gajah ).
Di samping itu juga, sekolah dijadikan sebagai tempat Musabaqah Al-Quran, kegiatan masyarakat setempat, Institusi Politik Umno dan penyatuan penyatuan masyarakat setempat ( Pemimpin Kecil Kampong Gajah ).
Madrasatul Al-Ehyak bertambah maju dari semasa ke semasa dengan adanya alat percetakan soalan peperiksaan. Kelas-kelas pengajian juga dipisahkan dengan dinding skrin. Dengan bertambahnya kelas, muncul lagi seorang guru yang bernama Tuan Hj. Tahir. Beliau juga telah menyumbang warisan takuk pemerintahan.
Pada tahun 1950, tanah yang dimiliki oleh Allahyarham Puan Hajjah Habsah di Busut Belah telah dijadikan tapak sekolah yang baru dengan harga yang rendah. Bermula tahun 1953 dengan kerjasama dan bantuan dari pihak penaja, mereka telah mengutip derma wakaf yang diluluskan oleh Jabatan Agama Islam Perak dan hasil kutipan derma tersebut mereka berjaya mengumpulkan sebanyak RM15,000.00. Dengan kutipan yang ada, pihak sekolah berjaya membeli 15 batang kayu Cengal sebagai asas pembinaan.
Dengan berbekalkan 15 tiang Cengal tersebut, seorang pakar dalam bidang pertukangan iaitu Tok Sidang M. Zaki Sebok telah berjaya membina sebuah bangunan dengan pertolongan penduduk setempat. Semasa Tok Sidang sedang membetulkan rasuk di satu sudut, bangunan iti tiba-tiba roboh. Namun, hamper 2 bulan kemudian bangunan itu berjaya disiapkan semula. Bangunan sekolah itu juga dijadikan sebagai tempat bagi sebarang kegiatan agama bagi penduduk setempat. Antara aktiviti yang dijalankan ialah seperti Majlis Ikhtifal, Israk & Mikraj, Maulidur Rasul dan sebagainya. Kemudian pada tahun 1984, Dato’ Hj. Mohd Abas telah mewakafkan tanah untuk membina bangunan yang seterusnya.
Perkembangan 1960-1980
Setelah digelar sebagai Y. Berhormat, Dato’ Hj. Ahmad Razali telah bertanding dan berjaya dipilah menjadi wakil rakyat pada tahun 1959 sempena kemerdekaan Negara selama 2 tahun. Beliau telah meninggalkan jawatan sebagai Mudir di Ehyak. Selepas beberapa tahun kemudian beliau telah berjaya sekali lagi menyandang jawatan sebagai Ahli Majlis Agama Islam Negeri Perak.
Dengan bantuan berjumlah RM 82,000.00 dari kerajaan, beliau telah berjaya mengubahsuaikan bangunan yang lebih sempurna. Selepas bersara dari wakil rakyat beliau telah memohon tanah sebanyak 70 ekar sebagai harta untuk sekolah pada masa akan dating.
Dalam sekitar tahun 1960, wujud sebuah Jawatan Kuasa Pentadbiran yang kini dikenali sebagai Lembaga Tadbir Maahad Ehyak. Setiausahanya disandang oleh En. Muhyidin b. Itam Saleh manakala guru besarnya pula ialah Tuan Hj. Tahir b. Abu Muhamad. Pada masa yang sama, Dato’ Ahmad Razali telah dicalonkan sebagai ADUN Kampong Bandar.
Setelah Ustaz Hj. Tahir berpindah, Ustaz Hood menggantikan tempatnya sebagai Bendahari Jawatan Kuasa Pentadbiran. Kemajuan sekolah semakin hari semakin berkembang dan telah berjaya melahirkan pelajar-pelajar yang cemerlang hasil didikan guru-guru yang dedikasi. Di antara guru-guru yang telah menyumbangkan bakti tersebut ialah Ustaz Shahid dan Ustazah Fatimah. Beberapa tahun kemudian, takuk pentadbiran sekolah diganti pula oleh Ustaz Hj. Omar.
Hasil usaha sama antara pihak pentadbiran, guru-guru dan kakitangan sekolah, maka lahirlah sebuah majalah yang berjudul “Permata Yang Berwarna Hijau”.
Era 1981-1996
Pengetua sekolah ketika itu ialah Tuan Hj. Shurdin b. Mat Arof dan juga merupakan bekas tenaga pengajar sekolah ini. Bagi masyarakat tempatan, sekolah ini dikenali sebagai “Sekolah Arab”. Teknik pembelajarannya berdasarkan sekolah pondok yang menggunakan kitab-kitab Thuras (Kitab Lama).
Semasa di bawah pentadbiran beliau, beberapa buah bangunan telah berjaya ditambah hasil sumbangan daripada pelbagai pihak termasuk Yang Berhormat Dato’ Seri Megat Junid b. Megat Ayob.
Selepas itu nama sekolah ini ditukar kepada Sekolah Menengah Ygama Ehyak. Ketika itu sistem pembelajarannya terbahagi kepada 2 bahagian iaitu Akademik dan Agama yang menggunakan sukatan pelajaran yang berdasarkan Kementerian Pendidikan Malaysia.
Awal tahun 1996, Sekolah Menengah Ugama Ehyak (SMUE) ditukar kepada Maahad Ehyak Diniah Islamiah (MEDI).
Era 1997-2005
Setelah separuh abad berlalu, MEDI telah mencapai banyak kemajuan . Antaranya kemasukan murid-murid yang semakin bertambah setiap tahun dan yang dating juga bukan sahaja dari daerah Kampong Gajah, malah dari daerah luar.
Pembangunan MEDI semakin terserlah dengan terdirinya bangunan batu seperti pejabat, bangunan sekolah, bengkel Kemahiran Hidup, beberapa buah asrama, rumah guru dan lain-lain.
Pelbagai aktiviti telah disusun dan dilaksanakan untuk memajukan pelajar MEDI dari segi Kurikulum dan kegiatan Ko-Kurikulum. Di antaranya ialah para pelajar telah didedahkan dengan pelbagai kursus yang telah dianjurkan oleh pihak sekolah dan Jabatan Agama Islam Perak.
Sehingga kini telah ramai bekas pelajar MEDI yang berjaya menyambung pelajaran ke sekolah berasrama penuh dan ke pusat-pusat Pengajian Tinggi Tempatan dan Swasta sama ada di dalam dan di luar negeri. Malah ada antara mereka yang telah berjaya dalam kerjaya masing-masing.
Bilangan tenaga pengajar yang berkhidmat di MEDI terdiri dari lulusan university tempatan seperti UM, USM manakala university luar seperti Universiti di Pakistan dan Universiti Al-Azhar, Mesir. Kehadiran pera pendidik ini memberi ransangan kepada para pelajar supaya berjaya dengan lebih cemerlang.
Era 2006 - Kini
Kini, Medi sekali lagi melalui perubahan yang semakin ketara dalam menempatkan diri setaraf dengan institusi pendidikan menengah yang terbilang apabila secara rasminya telah diterima sebagai sekolah berstatus “Sekolah Agama Bantuan Kerajaan” (SABK) di bawah seliaan penuh Kementerian Pelajaran Malaysian pada tahun 2006. Pastinya MEDI kini semakin meniti kecemerlangan dengan penumpuan tanggungjawab yang lebih besar selaras dengan sistem Kurikulum Bersepadu Sekolah Menengah (KBSM) Kementerian Pelajaran Malaysia.