اين مسجد یک بار احتمالاً، در روزگار امارت عمربن عبدالعزيز در شهر مدينه بازسازي شده است؛ زيرا او به دستور وليد بن عبدالملك، تصميم گرفت تمامي مساجدي را كه رسول خدا (ص) در آنها نماز خوانده بود، بازسازي كند.
این مسجد دفعه بعد، در دوره سلطان سليمان قانوني در سال ۹۵۰ قمري از نو تجديد بنا شد. بر اساس برخي گزارش ها، اين مسجد در اوايل قرن چهاردهم قمري، رو به ويراني بود؛ لذا در دوره سلطنت فهد به صورت زيبايي بازسازي شد.
براساس گزارش های تاریخی، ابتدا در اين مسجد دو محراب، روبروى هم - شمالى و جنوبى- يكى به طرف كعبه و ديگرى به طرف بيت المقدس قرار داشته، اما متأسّفانه در بازسازی های مکرر، تنها جاى يك محراب در آن باقى مانده، و آثار محراب دیگر در طول تاریخ محو شد. اما در بازسازی های بعد، افزون بر محرابي كه به سوي كعبه است، محلّي هم براي نشان دادن محراب پيشين در برابر آن، روي ديوار مشخص شده است. كتيبه موجود نشان از آن دارد كه تجديد بناي آن در تاريخ ۳۰/۳/۱۴۰۸ قمري، در مساحتِ ۳۹۲۰ متر مربع به انجام رسيده است. گفتني است كه نوشته هاي روي ديوار قبله پيشين، در حوالي سال ۱۴۲۰ ق. محو شد و در حال حاضر چيزي روي آن ديوار نوشته نشده است.