Bertahun-tahun kemudian, batas Kota Madinah diperluas dan mencakup Desa Quba.
Menurut beberapa sumber, batu pertama Masjid ini diletakkan langsung oleh Nabi Muhammad SAW pada tahun 622 M atau saat pertama kali tiba dari Mekkah ke Madinah untuk berhijrah.
Nabi Muhammad biasanya pergi ke Masjid Quba setiap hari Sabtu dengan berjalan atau berkuda.
Sebuah riwayat juga mengatakan bahwa Nabi Muhammad bersabda;
“Barang siapa berwudhu di masjid ini dan shalat di dalamnya, akan diberi pahala yang setara dengan satu umrah.” Masjid Quba menjadi masjid pertama dalam sejarah Islam dan masjid tempat “namaz” atau salat Jumat pertama kalinya diadakan.
Renovasi pertama masjid ini dilakukan oleh Khalifah Utsman bin Affan. Selanjutnya, Khalifah Umar bin Abdul Aziz membangun menara pertama masjid ini.