این بنا به فرمان هارون الرشید و در سال ۱۹۲ هجری ساخته شده است.

در یورش مغولان به قزوین وازآنجاکه مهمترین مسجدشهربوده،بخشی از آن( وازجمله ایوان جنوبی) تخریب گشته ولی در دوره های پسین ترمیم شده است.

آثار معماری چند دوره در این بنا مشاهده می‌شود و قدیمی‌ترین بخش آن متعلق به سده ی دوم اسلامی است.

ایوان‌ها در دوره صفوی بازسازی شده اما ایوان شرقی در دوره قاجار مرمت شده است.

ساخت مقصوره خمارتاشی در ضلع جنوبی مسجد به دستور امیر خمار تاش ابن عبداله عمادی، وزیر سلطان ملکشاه سلجوقی به سال ۵۰۰ هجری قمری انجام شد.