Sebagai permintaan maaf untuk rakyat Aceh yang marah, Jenderal Van Lansberge menjanjikan akan membangun kembali masjid agung yang baru.
Konstruksi dimulai pada tahun 1879, peletakan batu pertama pembangunan kembali masjid ini oleh Tengku Qadhi Malikul Adil, yang kemudian menjadi imam pertama di Masjid Raya Baiturrahman.
Pembangunan masjid Raya Baiturrahman telah selesai pada 27 Desember 1881 ketika pemerintahan Sultan terakhir Aceh, Muhammad Daud Syah.
Setelah diresmikan, banyak orang aceh yang awalnya menolak untuk beribadah di Masjid Raya Baiturrahman ini karena dibangun oleh Belanda.
Pada awal dibangun, masjid ini hanya memiliki satu kubah dan satu menara. Kubah dan menara lainnya ditambahkan pada tahun, 1935, 1958, dan 1982.