В 1828 году Николай Гоголь и его друг Александр Данилевский переезжают в Северную Пальмиру. Дороговизна столичной жизни немало удивила молодых людей — они смогли позволить себе лишь однокомнатную квартиру в доходном доме купца Галыбина по адресу Гороховая, дом 46. Петербург с сырой и пасмурной погодой произвёл на Гоголя неприятное впечатление, а тесная квартира, бесконечно далёкая от берегов Невы, порождала в нём отчаяние. Однако прожил он тут недолго, и вскоре переехал в другое, более просторное жильё.

Сам же дом с тех пор не раз перестраивался, а самой крупной была перепланировка 1854 года, когда новый владелец достроил четвёртый этаж, заметно изменив фасад здания. Следующая перестройка ждала дом менее чем через 20 лет, на этот раз над ней трудились архитекторы Иероним Китнер и Виктор Шретер. Именно благодаря их проекту дом стал выглядеть так, как выглядит сейчас.