Суворов начал свою армейскую карьеру с 1754 года, и как человек военный, он чаще жил там, где шли военные действия. В 1762 году, уже будучи полковником, Суворов командовал Астраханским полком, который составлял караул в Петербурге во время коронации Екатерины II. За хорошую службу царица приняла у себя Василия Ивановича и в знак признательности подарила ему портрет. Именно в то время у Суворова созрели планы купить дом в Москве и быть ближе к матушке-царице. Так Василий Иванович Суворов выкупил дом у князей Ржевских ориентировочно в 1766-1768 годы. Здание было построено на участке, принадлежавшем этому именитому дворянскому роду, в начале XVIII века. Однако великий полководец почти не жил там: с 1765 года он командовал Суздальским полком в Красном Селе, затем три года провел в походах на Польшу, а после была командировка в Финляндию и русско-турецкая война 1768-1774 годов.

В 1776 году право владения усадьбой перешло к сыну полководца – Александру Васильевичу Суворову-Рымникскому, который также бывал в доме лишь наездами, построек и реконструкций не проводил и вскоре передал усадьбу своей супруге. Вот она-то как раз взялась за дело по-хозяйски: построила несколько служебных задний и конюшню. После пожара 1812 года здание переходило из рук в руки. В 1873 году дом основательно перестроили. В наше время от истинного «Суворовского» дома осталась лишь ограда, несколько флигелей и барельеф «Здесь жил А.В. Суворовъ».