Selama masa kuliah, Gus Yahya aktif di organisasi Himpunan Mahasiswa Islam (HMI) Cabang Yogyakarta. Kakak kandung Yaqut Cholil Qoumas itu juga sempat bermukim selama setahun di Mekkah, Arab Saudi untuk mengaji.
Gus Yahya dikenal dekat dengan Presiden ke-4 RI Abdurrahman Wahid atau Gus Dur. Dia pernah ditunjuk menjadi Juru Bicara Presiden sewaktu Gus Dur berkuasa pada 1999-2001.
Setelah itu, Gus Yahya sempat aktif di PKB, tapi kemudian memilih lebih menekuni di bidang pendidikan. Mantan Anggota Dewan Pertimbangan Presiden (Wantimpres) 2014-2019 ini kerap menjadi pembicara internasional di luar negeri.
Seperti pada Juni 2018, Gus Yahya menjadi pembicara dalam forum American Jewish Committee (AJC) di Israel menyuarakan menyerukan konsep rahmat, sebagai solusi bagi konflik dunia, termasuk konflik yang disebabkan agama.
Kini, Gus Yahya resmi menjadi Ketua Umum PBNU yang di mana sebelumnya dirinya miliki keinginan untuk membuat NU sendiri menjadi model peradaban di masa depan.
"Saya nyalon ketua umum, melamar pekerjaan. Pekerjaannya apa? menjadikan NU sebagai model peradaban di masa depan. Bukan karena, jika saya jadi ketua umum NU bisa nyalon presiden, nyalon wakil presiden. Itu saya tidak mau," kata Gus Yahya dalam acara Ngopi Bareng Gus Yahya, Selasa (21/12/2021).