Несмотря на то, что дворец носит имя Разумовского, первым его владельцем был Р. Г. Левенвольде, приближённый Анны Иоановны. Но после того, как на трон пришла новая императрица, Елизавета Петровна, которая не очень-то жаловала двор прежней правительницы, дом остался без хозяина.

В 1749 году К. Г. Разумовский приобретает дом и приказывает построить каменный дворец (прежний хозяин выстроил его из дерева). Руководство над строительством на себя взяли сразу два архитектора: А. Ф. Кокоринов, а потом его работу продолжил Ж. Б. Валлен-Деламот. Здание, построенное в стиле классицизма, получилось подкупающе симметричным: по центру фасада расположена колоннада, которая соединяет два этажа и насчитывает шесть колонн.

Внешне дворец почти не изменился, хотя после Разумовского имел не одного хозяина, но вот внутреннее убранство с каждым годом претерпевало всё большие изменения. Сначала здесь разместили Воспитательный дом, потом дворец стал именоваться Сиротским институтом, а с 1903 года в здании располагается педагогический институт.