Интерьеры дворца, капитально перестроенного в 1870-х годах Карлом Рахау, для нового владельца заново оформил архитектор Роман Мельцер. Он также декорировал фасад в стиле модерн, сделал новую парадную лестницу, во дворе построил двухэтажный корпус для конторы князя.
Великий князь, лишенный тщеславия и воли к власти, добрый и доверчивый человек, служил в Гатчине, командуя эскадроном лейб-гвардии кирасирского Ее Величества полка («синие кирасиры»). Генерал А. А. Мосолов писал о личности Михаила Александровича: «Он отличался исключительной добротой и доверчивостью». Генерал от инфантерии Юрий Данилов отмечал: «Милый, симпатичный молодой человек. Такими словами охарактеризовал бы я его, в качестве лица частного… Имеет все данные быть хорошим конституционным монархом, но только в устоявшемся государстве, с твердым и хорошо налаженным аппаратом власти». Таковым он мог казаться в качестве претендента на престол.
Его скромная и искренняя натура сказалась и в браке, соединившем его с тою, которую он избрал по влечению сердца, вопреки чопорным традициям царствующих домов.
В Гатчине великий князь влюбился в жену своего подчиненного, поручика Владимира Вульферта, Наталью Сергеевну, писаную красавицу. Госпожа Вульферт (в девичестве Шереметевская, по первому браку Мамонтова) уже была разведена, не принадлежала к знатному дворянскому роду. Она развелась и с Вульфертом и стала жить с великим князем. В 1910 году у них родился сын Георгий. Такие связи в семье Романовых бывали и раньше, но Михаил Александрович перешел «красную линию» и в 1912 году, вопреки воле матери и брата, вступил в морганатический брак с госпожой Вульферт. Его уволили со всех должностей и выслали из России. Только в 1914 году великому князю разрешили вернуться на родину, где он вступил в командование Кавказской туземной конной дивизией. В 1915 году Наталья и ее сын получили от императора титул графов Брасовых. Во дворце на Английской набережной во время войны разместили лазарет. Сам князь бывал здесь наездами с фронта.
Особняк на Английской набережной, 68, построенный в 1859–1862 годах архитектором А. И. Кракау, был выкуплен у приемной дочери барона А. Л. Штиглица – Н. М. Половцевой (Июневой). В 1889 году, после свадьбы с греческой принцессой Александрой Георгиевной, в нем поселился младший сын Александра II Павел Александрович.
Этот счастливый брак был прерван смертью принцессы: Александра умерла в 1891 году во время вторых родов. Ребенок, великий князь Дмитрий Павлович, выжил.
Тридцатилетний Павел Александрович остался вдовцом. В молодости младший сын Александра II считался самым стильным и беззаботным из своего поколения Романовых: «Он хорошо танцевал, пользовался успехом у женщин, был очень интересен в своем темно-зеленом с серебром доломане, малиновых рейтузах и ботиках Гродненского гусара. Беззаботная жизнь кавалерийского офицера его вполне удовлетворяла». Отлично складывалась и его военная карьера: командир лейб-гвардии Конного полка (1890–1895), командующий 1-й Гвардейской кавалерийской дивизией (1896–1898), командующий Гвардейским корпусом (1898–1902).
«Еще до рождения сына Павел Александрович получил в командование Конный полк, куда в день своего рождения был зачислен и Дмитрий Павлович. В полку искренне любили и ценили великого князя за поддержание старых традиций и блестящей строевой репутации конногвардейцев», – вспоминал генерал Мосолов.
Однако в 1896 году у Павла Александровича начался бурный роман с Ольгой Валерьяновной Пистолькорс, матерью четырех детей, супругой адъютанта великого князя Владимира Александровича генерала Эриха Пистолькорса. Ольга Пистолькорс развелась с мужем и в 1902 году, несмотря на все существующие запреты, обвенчалась с Павлом Александровичем и родила ему еще сына и двух дочерей.
Николай II писал вдовствующей императрице Марии Федоровне: «В день отъезда своего за границу дядя Павел приказал ему дать в вагон 3 миллиона рублей из своей конторы, что и было исполнено. Из этого вполне видно, что дядя Павел заранее решил привести свое желание в исполнение и все приготовил, чтобы остаться надолго за границей. Еще весною я имел с ним крупный разговор, кончившийся тем, что его предупредил о всех последствиях, которые его ожидают, если он женится. К всеобщему огорчению, ничего не помогло… Как это все больно и тяжело и как совестно перед всем светом за наше семейство».
По этому поводу по Петербургу ходило тогда восьмистишие:
Царь наш добр, но строгих правил,
Не на шутку рассердился,
Как узнал, что дядя Павел
На чужой жене женился…
Вопреки родству и дружбе
Дядю выгнал с русской службы,
И теперь нет доли горше
Дяди Павла с Пистолькоршей.
К счастью для Павла Александровича, доля его оказалась вовсе не горькой. «Пистолькорша» была верной и заботливой женой и родила ему троих детей. В 1910 году великого князя «амнистировали». Он вернулся в Петербург, брак его был признан, а жена получила фамилию княгини Палей. Так же стали называться и дети.
В 1919 году Павел Александрович был расстрелян у стены Петропавловской крепости.