عمربن عبدالعزيز در آخرين دهه قرن اول هجري، به دستور وليد، بناي اوليه مسجد قبا را خراب كرد و از نو بنايي استوار برپا ساخت و براي آن رواق هايي نيز افزود. مسجد قبا بعدها به دست جمال الدين ابو منصور اصفهاني، يكي از وزراي حكّام موصل، در سال ۵۵۵ قمري بازسازي شد. همچنین تا پيش از توسعه سال ۱۴۰۶ قمري، خانه سعدبن خَيْثمه به صورت مستقل وجود داشته و طي چهارده قرن، زائران قبا، به آن خانه نيز وارد شده و در آن نماز می خواندند.
در سال ۱۳۸۸ قمري ملك فيصل رواق هاي آن را در جهت شرقي مسجد توسعه داد. بناي جديد آن، كه در ۲۶ صفر سال ۱۴۰۶ قمري به پايان رسيد، در شكل معماري جديد خود، يكي از مهمترين و زيباترين مساجدي است كه در مدينه منوره قرار دارد. در بناي فعلي چهار مناره براي اين مسجد در نظر گرفته شده كه هر كدام ۴۷ متر طول دارد. مساحت تقريبي آن و بناهاي جانبي مربوط به آن، در محدوده اي به مساحت ۱۳۵۰۰ متر مربع می باشد كه بر اساس محاسبات معماران آن، گنجايش بيست هزار نمازگزار را دارد.
نیز پشت مسجد قبا، منزلى بوده متعلّق به اميرالمؤمنين (ع)، و جلوى مسجد نیز چاه آب شيرينى كه فعلًا اثرى از آن نيست.