Дворец на набережной Фонтанки, дом 21, был построен в конце XVIII века. Первыми владельцами дворца были граф и графиня Воронцовы. В 1799 году дворец выкупает супруга гофмейстера Д.Л. Нарышкина - Мария Антоновна. Во дворце Нарышкиных, славившемся собранием произведений искусства, а также празднествами и концертами, бывали А. Пушкин, П. Вяземский, И. Крылов, Н. Карамзин, К. Брюллов и сам император Александр I.
Именно здесь 29 апреля 1834 года в день совершеннолетия наследника престола Александра Николаевича (будущего императора Александра II) петербургским дворянством был дан знаменитый бал. Специально к этим торжествам, чтобы разместить чуть менее, чем полутора тысяч гостей, на месте внутреннего двора А.П. Брюлловым был возведен временный деревянный павильон и прорублены проходы в соседний дом Абазы.
В 1844 году в связи с предстоящей свадьбой наследницы дома Софьи Львовны Нарышкиной и Петра Павловича Шувалова архитекторами Бернаром де Симоном и Николаем Ефимовичем Ефимовым началась перестройка дворца в неоренессансном стиле. Свадьба состоялась в 1846 году, открыв "Шуваловский" период жизни дворца.
Следующий масштабный этап реконструкции осуществлялся по проекту Рудольфа Богдановича Бернгарда, созданному в 1859 году. Дворец был оборудован вентиляцией и воздушным отоплением от расположенных в подвале "амосовских" печей, в ряде помещений были сделаны световые фонари.
Последние владельцы дворца - Павел Петрович Шувалов и его супруга Елизавета Владимировна, урожденная Барятинская, - дополнили унаследованное от Нарышкиных собрание предметов искусства блестящей художественной коллекцией.
В начале Первой мировой войны Е.В. Шувалова тщательно спрятала картины и предметы декоративно-прикладного искусства в многочисленных техниках, а сам дворец отдала под лазарет для раненых.
1 августа 1918 года дворец был национализирован, и с 1919 по 1925 год там располагался Музей дворянского быта, экспозиция которого была максимально приближена к жилой обстановке дворца при последних Шуваловых. Впоследствии художественные коллекции передали в Музейный фонд и распределили между российскими музеями.
В 1927-1929 годах во дворце Нарышкиных-Шуваловых находился Дом печати, затем Дом инженерно-технического работника, в 1930-е годы - проектные организации, а с 1941 года - штаб МПВО (местной противовоздушной обороны).
В годы блокады Ленинграда от обстрелов и бомбежек дворец подвергся значительным разрушениям. Прямым попаданием фугасной бомбы был разрушен до основания трехэтажный дворовый флигель. Еще больший ущерб причинила зажигательная бомба, пробившая крышу и упавшая на чердак над Александровским залом. Начался пожар, пламя охватило деревянные конструкции и чердачные перекрытия, обрушилась кровля и потолок с уникальной росписью Д. Скотти.
В 1963 году было принято решение об открытии в Шуваловском дворце Дома дружбы и мира с народами зарубежных стран. Дворец почти 30 лет существовал без капитального ремонта и постепенно разрушался.
Дабы сохранить этот памятник архитектуры, в 2006 году Правительство Санкт-Петербурга передало Шуваловский дворец в аренду на 49 лет Культурно-историческому фонду "Связь времен". С 2006 по 2013 год в нем велись сложнейшие реставрационные работы, позволившие вернуть дворцу былое великолепие.
19 ноября 2013 года на набережной реки Фонтанки, 21, открылся Музей Фаберже, представивший жителям и гостям Санкт-Петербурга уникальную возможность познакомиться с выдающимся собранием фонда "Связь времен".
