В 1822 году Екатерина Васильчикова, род которой восходил к старомосковскому дворянству, выкупила пустующий после пожара 1812 года участок и построила на нём два здания: первое — в классическом, второе — в русском стиле. Именно в этом доме были арестованы сын Васильчиковой Николай и его друг — они были близки к декабристам и иногда встречались с ними в особняке.

На исходе 1830-х Васильчикова продала усадьбу семейству Зубовых-Оболенских. Здания несколько раз перестраивали, а в 1860-х объединили в одно, обогатив убранство помещений. В интерьерах появилась красивая парадная лестница, камины, гобелены, люстры из хрусталя, экзотические комнаты.

Через несколько лет особняк выкупил купец Александр Алексеев и переехал сюда вместе с семьёй. При Алексееве во дворе была возведена двухэтажная пристройка к дому. Кстати, купец приходился дядей будущему знаменитому режиссёру Станиславскому, который тоже нередко приезжал в усадьбу.

После смерти Алексеева вдова разделила особняк на две части, продав одну из них Владимиру фон Мекку, сыну известной меценатки и железнодорожного магната. Здесь фон Мекк заболел и через несколько лет скончался. Имение вновь продали, а новые хозяева провели электричество, отопление, построили балкон и перестроили сени во дворе. Однако очередная смерть вновь стала причиной смены хозяев, и теперь владелицей дома стала представительница купеческого рода Любовь Зимина. Мужем Зиминой был знаменитый оперный певец Райский, поэтому дом часто посещали известные творческие люди — композиторы Рахманинов и Глазунов, певец Шаляпин.

После 1917 года особняк национализировали, а одну из квартир оставили хозяйке. В советские годы владельцы дома также менялись: здесь размещался Верховный суд, жили политические эмигранты, а после Великой Отечественной войны здание отдали строительной организации.

В 2015—2016 годы особняк отреставрировали, вернув ему оригинальные интерьеры, включая цветовую гамму и декор.

С 2019 года в доме находится Музей военной формы.