Изначально дом задумывался как внушительный жилой комплекс, здесь даже сделали два отдельных друг от друга двора с персональными воротами. В архитектуре использованы как свойственные классицизму приемы, так и детали модного в то время стиля ампир. В итоге усадьбу украсил портик с колоннами, а на фронтоне флигеля разместили патриотический барельеф на тему победы в войне с французами.

Дочь Петра Михайловича, Екатерина, вышла замуж за итальянского певца, и молодые супруги поселились в особняке отца. Во время своей семейной жизни, а до развода они прожили 8 лет, светская пара устраивала в усадьбе концерты и музыкальные вечера, где исполнялись не только веселые напевы, но и оперные произведения. В 1821 году Лунин продал дом коммерсантам, и до 1917 года там располагался сначала коммерческий, а затем и Государственный банк. В наше время в доме находится Музей Востока.