Лопухин недолго владел особняком и был вынужден продать его Пьеру Лобри, парикмахеру, происходившему из бедного рода гугенотов. Лобри удалось разбогатеть за счет своих парикмахерских услуг, которые он оказывал самой императрице Анне Иоановне и другим высокопоставленным особам. По причине смены власти во время дворцовых переворотов дом постоянно менял хозяев. Владельцы, попавшие в немилость правителя, вынуждены были продавать особняк.

Наконец во второй половине 19 века дом приобрел Н.Н. Теплов, бывший горный инженер. По его приказу дом был перестроен и благодаря стараниям архитектора П.П. Мижуева принял современный вид. После смерти Теплова его вдова продала дом немецкому роду Радау, которые жили в нем вплоть до революции.

В советское время в доме располагались коммунальные квартиры, внутреннее убранство особняка было изуродовано перегородками. В 2003 году дом планировалось переделать под гостиницу, но замысел так и не воплотили в жизнь. Теперь особняк находится в частном владении.