Из всех Юсуповых, наверное, только бабушка Зинаиды Николаевны – графиня де Шаво – смогла избежать больших страданий из-за безвременной смерти детей. Урожденная Нарышкина, Зинаида Ивановна была выдана замуж за Бориса Николаевича Юсупова еще будучи совсем юной девушкой. Вскоре она родила ему сына, а затем умершую при родах дочь. Только после этих событий она узнала о фамильном проклятии. Являясь женщиной рассудительной, она сообщила своему супругу, что «рожать мертвецов» больше не будет. В ответ на его возражения, она заявила, что если он до сих пор не нагулялся, то позволено «брюхатить дворовых девок», и что она возражать не собирается. Так было до 1849 года, когда старый князь умер.
Зинаиде Ивановне не было и сорока лет, как она окунулась с головой в омут новых романов и отношений. О ее кавалерах ходили сплетни и легенды, но наибольшее внимание досталось юному народовольцу. Когда его заточили в Шлиссельбургскую крепость, княгиня отказалась от светской жизни, последовала за ним и неизвестно как добилась, что того отпускали к ней по ночам. Об этой истории знали очень многие, о ней судачили, но, как ни удивительно, Зинаиду Ивановну не стали осуждать. Наоборот, светское общество признало право величавой княгини на всяческие сумасбродства а-ля де Бальзак. Но потом все закончилось, некоторое время она была затворницей на Литейном. Затем она вышла замуж за обанкротившегося, но родовитого француза и покинула Россию, отказавшись от титула княгини Юсуповой. Во Франции ее именовали графиней де Шаво, маркизой де Серр. Историю, связанную с юным народовольцем, напомнили Юсуповым после революции. Одна из эмигрантских газет опубликовала сообщение, что, в поиске Юсуповских сокровищ, большевики разрушили все стены дворца на Литейном проспекте. К своей досаде драгоценностей они не обнаружили, но нашли примыкающую к спальне тайную комнату, в которой находился гроб с телом забальзамированного мужчины. Вероятно, это и был приговоренный к смерти народоволец, тело которого Зинаида Ивановна выкупила и привезла в Петербург.
Впрочем, при всей драматичности жизни Зинаиды Нарышкиной-Юсуповой-де Шаво-де Серр, в семье ее считали счастливой. Все ее мужья умирали, дожив до старости, а свою дочь она потеряла при родах, когда еще и привыкнуть к ней не успела. Она много раз влюблялась, ни в чем себе не отказывала, да и умерла она в окружении родных. У остальных же представителей династии, несмотря на их умопомрачительные богатства, жизнь была куда прозаичней. Семейный рок не щадил никого.
Старший сын Зинаиды Николаевны Николенька рос молчаливым и замкнутым мальчиком. Как ни старалась княжна Юсупова приблизить его к себе, у нее ничего не выходило. Ей всю жизнь мерещился тот ужас, охвативший ее, когда под Рождество 1887 года, на вопрос, заданный к сыну, какой бы подарок он хотел получить, Зинаида Николаевна выслушала вовсе недетский и ледяной ответ: «Я не хочу, чтобы у тебя были другие дети».