KH. Ali bin Maksum bin Ahmad dilahirkan di Lasem, kota tua di Jawa Tengah dari keluarga ulama keturunan Sayyid Abdurrahman alias Pangeran Kusumo bin Pangeran Ngalogo alias Pangeran Muhammad Syihabudin Sambu Digdadiningrat alias Mbah Sambu. Garis keturunan ini banyak melahirkan keluarga pesantren yang tersebar di daerah Jawa Tengah dan Jawa Timur.
Masa muda beliau habiskan dengan berguru dari pesantren ke pesantren. Dimulai dari ayahnya sendiri yang juga seorang kyai ulama besar, beliau kemudian nyantri kepada Kyai Amir Pekalongan untuk kemudian melanjutkan kepada Kyai Dimyati Tremas Pacitan Jawa Timur. Sejak di Termas inilah beliau terlihat menonjol dan akhirnya ikut membantu gurunya mengajar dan mengurus madrasah pesantren dan membuat karangan tulisan.
Tak lama setelah diambil menantu oleh KHM Munawwir al Hafidh al Muqri Krapyak Yogyakarta, beliau dibantu oleh seorang saudagar Kauman Yogyakarta untuk dapat berhaji ke Mekah. Kesempatan ini beliau pergunakan pula untuk melanjutkan mengaji tabarrukan kepada para ulama Mekah: Sayyid Alwi al Maliki Al Hasni, Syaikh Masyayikh Hamid Mannan, Syaikh Umar Hamdan dan sebagainya.
Setelah dua tahun mengaji di Mekah Kyai Ali kembali ke tanah Jawa. Sedianya beliau hendak tinggal di Lasem membantu ayahnya mengembangkan pesantren. Namun, sepeninggal Kyai Munawwir Krapyak, Pondok Krapyak memerlukan beliau untuk melanjutkan perjuangan di bidang pendidikan bersama-sama dengan KHR. Abdullah Affandi Munawwir dan KHR. Abdul Qadir Munawwir.
Akhirnya beliau menghabiskan umur dan segenap daya upaya beliau untuk merawat dan mengembangkan Pondok Krapyak, yang pada saat diasuh mendiang Kyai Munawwir merupakan cikal bakal pesantren Al Qur’an di Indonesia.
Di bidang pendidikan pesantren, beliau merintis pola semi moderen dengan sistem klasikal hingga berkembanglah madrasah-madrasah hingga saat ini. Beliau juga diminta untuk menjadi dosen luar biasa pada Institut Agama Islam Negeri Sunan Kalijaga Yogyakarta.
Di bidang kemasyarakatan dan politik, beliau pernah menjadi anggota majlis Konstituante, sebuah lembaga pembuat Undang-Undang Dasar pada masa rejim Orde Lama. Dalam organisasi para kyai, Nahdlatul Ulama, beliau pernah memangku jabatan Rais ‘Aam Syuriyyah yang mengantarkan Jam’iyyah Nahdlatul Ulama keluar dari jalur politik pada masa rejim Orde Baru.
Di sela-sela mengasuh seribuan santrinya, beliau menyempatkan diri untuk memberikan pengajian di masyarakat, mengawasi sendiri pembangunan gedung-gedung pondok dan menulis kitab-kitab. Hujjah Ahlis Sunnah wal Jama’ah, Tasrif ul Kalimah fis Shorf, Ilmu Mantiq, adalah beberapa dari kitab berbahasa Arab susunan beliau.
Sebelum meninggal pada akhir 1989, dari sentuhan tangan beliau telah dilahirkan ratusan kyai dari ribuan santri yang mengaji pada beliau pada kurun 1946 hingga 1989. Dari keteguhan beliau, Pondok Krapyak beberapa hari sebelum beliau meninggal menjadi tempat penyelenggaraan Muktamar Jam’iyyah Nahdlatul Ulama, pertemuan paling bergengsi organisasi para ulama Indonesia.
Dari kesabaran beliau yang selama hidup dibantu oleh istrinya Nyai Hasyimah Munawwir, telah berdiri dan berkembang Taman Kanak-Kanak, Madrasah Diniyyah, Madrasah Tsanawiyyah, Madrasah Aliyah, Madrasah Tahfidzil Qur’an dan Madrasah Takhassusiyah untuk para santri mahasiswa.
Pondok Pesantren Krapyak, setelah kemangkatan beliau tahun 1989, pengelolaannya ditangani oleh lembaga berbadan hukum dengan nama Yayasan Ali Maksum Pondok Pesantren Krapyak Yogyakarta. Yayasan ini sekarang dipimpin oleh KH Attabik Ali yang merupakan putra pertama dari KH Ali Maksum.
