Согласно архивам, мечеть была возведена в августе 1823 года на деньги столичных купцов татарского происхождения. Существует информация, что храм на этом месте был и ранее, но сгорел во времена боёв с армией Наполеона за Москву.

Сначала было построено небольшое молитвенное здание без минаретов. Однако община увеличивалась и вскоре храм стал слишком мал, чтобы вместить достаточное количество верующих. И тогда в 1880 году было принято решение о первой реконструкции Исторической мечети. С приходом советской власти настали кризисные времена и для этого храма. Имам был арестован и казнён, храм закрыли и частично разобрали.

В 80-е годы мусульманская община Москвы активно ходатайствовала о возвращении здания мечети верующим. Их усилия увенчались успехом — в начале 90-х верующие получили в своё распоряжение здание мечети. Финансовую помощь в реконструкции храма оказали политические деятели и дипломаты Саудовской Аравии. В мае 1993 года Историческая мечеть была снова торжественно открыта.

На данный момент мечеть является центром исторической и культурной жизни мусульман столицы. При ней работают благотворительные фонды помощи нуждающимся, религиозно-просветительские центры и школа по изучению арабского языка и культуры.