پس از ورود حضرت محمد(ص) به مدينه، ايشان دستور ساخت مسجد را صادر كرده با كمك مهاجرين و انصار، شروع به بناي آن نمودند. ديوار مسجد از سنگ و آجر و سقف آن از چوب درخت بود و در كنار مسجد اتاق‏هاي پيامبر(ص) و برخي از اصحاب وي قرار داشت. رسول گرامي اسلام از مسجد نه تنها براي انجام عبادت، بلكه جهت برگزاري امور قضاوت، مجالس مشورتي، آموزش‏هاي فني و حل و فصل ديگر امور مسلمانان استفاده مي‏كردند به همين دليل اين مسجد اهميت فوق العاده‏اي براي مسلمانان داشت.