Однако более всего это здание известно как помещение знаменитого Английского клуба, который упоминается в романе Пушкина «Евгений Онегин» и в пьесе Грибоедова «Горе от ума». Клуб этот был элитным мужским клубом еще с 1780 года. Принимались туда избранные тайным голосованием члены лучших семейств России. Служитель обходил всех членов клуба с особым ящиком, куда опускали чёрные и белые шары. Если чёрных шаров было больше, то кандидатура неофита отклонялась и больше не ставилась на голосование. Так, например, было отказано в членстве Ф. В. Булгарину, князю Чернышеву и графу Клейнмихелю. Многие годами ждали своего избрания, но так и оставались непринятыми: очередь растягивалась иногда до двух тысяч кандидатов. Наоборот, для некоторых людей было придумано звание почетного члена клуба, например таковыми были князь П. И. Багратион, генералы А. П. Ермолов, Д. В. Давыдов, М. Ф. Орлов, подписавший капитуляцию Парижа в 1814 году, М. Д. Скобелев. Насчет дам было особое правило: их в Английский клуб не пускали даже в гости.

А.С. Пушкин, как и многие его родственники, являлся членом этого клуба. Чем он мог здесь заниматься? Прежде всего, общаться с другими «избранными» - Е. А. Баратынским, П. Я. Чаадаевым, Н. М. Карамзиным, В. А. Жуковским, И. А. Крыловым, В. Ф. Одоевским, Л. Н. Толстым, Н. В. Гоголем. Все они были постоянными посетителями клуба. Обсуждалась не только литература или политика. Предметом внимания часто становились гастрономические качества подаваемых здесь по средам и субботам изысканных обедов. Кроме того, в клубе имелась прекрасная библиотека и свежая пресса. Это место славилось не только как центр интеллектуального общения и обедов. Была здесь комната, называемая адской. В ней азартные игроки могли проиграть в карты все свое состояние. Существовала и «умная» комната, или «говорильня», для алчущих духовной пищи и культурных раговоров.

После революции дворец начал стремительно разрушаться, но решение городских властей устроить здесь Музей Революции спасло здание от полного разграбления. Правда, революционный пафос плохо совмещался с аристократической роскошью, поэтому стенды с экспонатами прикрыли часть лепных украшений с масонской символикой. В целом, дворец Разумовских прекрасно сохранился до наших дней во всем своем великолепии.