Арсений Морозов являлся представителем знатного купеческого рода и был двоюродным племянником Саввы Морозова. По молодости Арсений Абрамович много путешествовал по Европе, и в одной из поездок на него и его друга, архитектора Виктора Мазырина, произвёл неизгладимое впечатление дворец Пена в Синтре. После возвращения в Россию молодой купец решил возвести для себя усадьбу, напоминающую португальский дворец.

Совсем скоро на участке, который достался Арсению от матери, вместо небольшого особняка в стиле классицизм появилось эксцентричное здание, действительно напоминающее своего португальского сородича. Испано-мавританский стиль с его замысловатыми, похожими на кружева узорами, лепниной, колоннами был очень необычен для Москвы, так что и особняк Морозова современники приняли в штыки — он казался им излишне вычурным и эксцентричным. Декор действительно оказался колоритным: создаётся ощущение, что здание попало сюда прямиком из солнечного Мадрида. Интерьер, кстати, оказался не менее ярким: вазоны, статуи, люстры, готические лестницы отражали представления Морозова об идеальном доме.

Однако прожил ценитель испанского и мавританского колорита в своём особняке совсем недолго — он на спор прострелил себе ногу и умер от заражения крови.

После революции в особняке размещались анархисты, позже — труппа передвижного театра, затем Наркомат иностранных дел, посольства разных стран, а после 1959 года — Дом дружбы народов. В 2003-м здание реставрировали и воссоздали оригинальный интерьер. Сейчас здесь находится Дом приёмов Правительства России.