Sepulang sekolah ia belajar agama di sebuah Madrasah Ibtidaiyah (MI) Muhammadiyah pada sore hari dan malamnya ia melanjutkan dengan belajar mengaji di surau yang ada di sekitar tempat tinggalnya.
Pendidikan SR yang harusnya ditempuh selama enam tahun, dapat ia selesaikan hanya dalam waktu lima tahun saja.
Setelah tamat dari SR pada tahun 1947, namun saat itu ia tidak mendapatkan ijazah karena pada masa itu sedang terjadi perang revolusi kemerdekaan.
Setelah lulus, ia tidak dapat melanjutkan pendidikan lagi melihat beban ekonomi yang harus ditanggung sang ayah.
Baru tahun 1950, Buya Syafii masuk ke Madrasah Muallimin Muhammadiyah di Balai Tengah, Lintau sampai duduk di bangku kelas tiga.
Di tahun 1953 saat ia berusia 18 tahun, memutuskan untuk meninggalkan kampung halamannya dan merantau ke Jawa bersama dua adik sepupunya.
Dia diajak untuk belajar di Yogyakarta oleh M Sanusi Latief, namun sayangnya niat itu tidak terwujud, pihak sekolah yang ditujunya, Madrasah Muallimin menolak menerimanya di kelas empat dengan alasan kelas sudah penuh.
Namun, tidak lama dari itu, Buya Syafii diangkat menjadi guru bahasa Inggris dan bahasa Indonesia di sekolah itu dengan jangka waktu yang juga tidak lama.
Kemudian ia bersama sepupunya bernama Azra'i mengikuti sekolah montir sampai akhirnya lulus setelah beberapa bulan belajar.
Tak putus asa, Buya Syafii kembali mendaftar ke Muallimin dan akhirnya diterima tetapi harus mengulang kuartal terakhir kelas tiga.
Selama bersekolah di situ, ia aktif dalam organisasi kepanduan Hizbul Wathan dan pernah menjadi pemimpin redaksi majalah Sinar, sebuah majalah pelajar Muallimin di Yogyakarta.
Ia kemudian tamat dari Muallimin pada 12 Juli 1956, namun memutuskan untuk tidak melanjutkan sekolahnya setelah ayahnya meninggal pada 5 Oktober 1955 dan karena terkendala biaya.
Di usia 21 tahun, tidak lama setelah tamat, ia kemudian pergi ke Lombok untuk memenuhi permintaan Konsul Muhammadiyah dari Lombok untuk menjadi guru dan ditugaskan di Pohgading.
Satu tahun kemudian, sekitar bulan Maret 1957 di usianya 22 tahun, ia mengunjungi kampung halamannya dan kemudian kembali ke Jawa untuk melanjutkan ke perguruan tinggi di Solo.
Di Solo, ia masuk ke Universitas Cokroaminoto dan mendapatkan gelar sarjana muda di tahun 1964, kemudian ia melanjutkan pendidikannya untuk tingkat sarjana penuh (drs) pada Fakultas Keguruan Ilmu Sosial IKP (sekarang UNY) dan lulus pada tahun 1968.