Строительство здания Московской синагоги велось в соответствии с проектами архитекторов Семёна Семёновича Эйбушица и Сергея Константиновича Родионова с 1887 года. Некоторое время спустя перестройкой руководил архитектор Роман Иванович Клейн, который являлся сторонником свободной стилизации в соответствии с той или иной исторической эпохой.

Благодаря Клейну интерьер здания приобрёл множество исторических аллюзий и всякого рода цитат. Так, например, ливанские кедры, изображённые на мозаике, символизируют разрушенный храм Соломона. Присутствие же скамей для молящихся соответствует европейским архитектурным традициям. Еврейские мотивы в оформлении интерьера ярко выражены в устройстве женских балконов-галерей.

Несмотря на то, что строительство синагоги было завершено уже в 1891 году, её официальное открытие по политическим причинам состоялось лишь в 1906 году. В XX столетии, даже при советской власти, Московская синагога оставалась центром общественной и религиозной жизни еврейского населения всей страны.