В 1765 году Екатерина сделала своему сыну Павлу, тогда ещё мальчику, щедрый подарок — Каменный остров. Прошло около десяти лет, и императрица решила воспользоваться собственным подарком — заказала архитектору Фельтену построить на месте стоявшего там деревянного дворца выстроить новый, каменный. После серьёзного наводнения 1777 года, когда строительство было прекращено по объективным причинам, дело возобновил уже другой зодчий — Джакомо Кваренги.

В архитектурном плане Каменноостровский дворец представляет собой безусловный памятник классицизма. Если посмотреть на него сверху, можно увидеть идеально симметричную букву П — главный корпус и два боковых флигеля. Фасад украшен портиком с шестью колоннами, широкой лестницей из финского гранита, во внутреннем дворе разбит прекрасный сад.

После Екатерины и Павла новым хозяином дворца становится Александр I — он очень полюбил этот замок, и именно здесь произошло множество важных событий его эпохи. В одном из залов император поручил Кутузову командование армией, там же узнал о заговоре декабристов и впервые собрал свой Негласный комитет.

В советское время дворец превратили в санаторий Ленинградского военного округа. С нулевых годов здание начали реставрировать. Обновление растянулось на долгие годы и завершилось только в 2015 году. Во дворце отреставрировали внутренний и внешний облик дворца. Сегодня здесь располагается детская Академия талантов.