Sebagai gantinya, dibangunlah masjid baru di lokasi yang sama.
Baca Juga: Ini Daftar 7 Artefak Peninggalan Majapahit yang Dianggap Berharga
Karena posisinya yang sangat strategis, sebagian bangunan Masjid Raya Baiturrahman pernah dibakar Belanda pada 10 April 1873.
Untuk meluluhkan hati rakyat Aceh yang murka, Gubernur Jenderal Van Lansberge menyatakan akan membangun kembali masjid agung yang baru.
Peletakan batu pertama pembangunan kembali masjid ini dilakukan pada 9 Oktober 1879 oleh Tengku Qadhi Malikul Adil.
Pembangunan Masjid Raya Baiturrahman selesai pada 27 Desember 1881 dan diresmikan saat itu juga.
Sejak diresmikan, tidak sedikit rakyat Aceh yang menolak untuk beribadah di masjid ini karena dibangun oleh Belanda.
Kini Masjid Raya Baiturrahman menjadi kebanggaan tersendiri bagi Banda Aceh.
Ketika selesai dibangun oleh Belanda pada 1881, masjid ini memiliki satu kubah dan satu menara.
Kubah dan menara lainnya ditambahkan pada 1935, 1958, dan 1982.
Saat ini, Masjid Raya Baiturrahman memiliki tujuh kubah dan delapan menara.
Setelah Tsunami Aceh 2004, masjid ini kembali direnovasi karena mengalami kerusakan yang tidak terlalu parah pada beberapa bangunannya.