Вторая супруга Бориса Николаевича – Зинаида Ивановна Нарышкина, была младше князя на пятнадцать лет. Ей был свойственен довольно свободолюбивый нрав, которого она вовсе не стеснялась и при удобном случае могла его проявлять. В 1827 году она родила мужу единственного сына – Николая Борисовича-младшего. После это го, она, как говорится, пустилась во все тяжкие. Разумеется, этот факт держался в глубочайшей тайне, которой так и не суждено было открыться современникам.
Поразительно, но отсутствие всяческой морали и нравственности нередко выигрывает у благодетельности в глазах потомства. Вот что писал о Зинаиде Ивановне, совершенно ничего не стесняясь, правнук Феликс Феликсович Юсупов: «Прабабка моя была писаная красавица, жила весело и имела не одно приключение. Пережила она бурный роман с молодым революционером и поехала за ним, когда того посадили в Свеаборгскую крепость в Финляндии. Впоследствии нашел я письма к ней императора Николая. Характер писем сомнений не оставлял. В одной записке Николай говорит, что дарит ей царскосельский домик «Эрмитаж» и просит прожить в нем лето, чтобы им было, где видеться… Поссорившись с императором, она уехала за границу… Весь бомонд Второй Империи бывал у нее. Наполеон Третий увлекся ею и делал авансы, но ответа не получил. На балу в Тюильри представили ей юного француза-офицера, миловидного и бедного, по фамилии Шово. Купила она ему замок Кериолет в Бретани и титул графа, а себе самой – маркизы де Серр. Граф де Шово вскоре умер, завещав замок своей любовнице…».
Князь Борис Николаевич, несмотря на то, что был очень богат, немало лет провел на государственной службе. Он считал это своим долгом. Он служил в Министерствах иностранных дел, внутренних дел и фи нансов. Кроме того, он возглавлял Экспедицию знака отличия беспорочной службы и Экспедицию ордена святой Анны. В 1848 году его пожаловали в Гофмейстеры Императорского Двора.
Вступив после смерти Николая Борисовича в отцовское наследство, князю Борису Николаевичу пришлось столкнуться с серьезными проблемами материального характера. Конечно, на изысканные обеды и даже балы некоторые средства имелись, но впереди ему предстояло отдать не один долг. Среди собственных долгов, как и следует догадаться, были карточные проигрыши. А среди отцовских – хозяйственные. Также было необходимо заботиться и поддерживать крепостное хозяйство, решать проблемы по поводу доходности вотчин, фабрик. Борису Николаевичу на тот момент предстояло разобраться в огромнейшей куче дел, о чем привычная российская аристократия предпочитала даже не задумываться, передавая все свое движимое и недвижимое имущество на управление немцам-управляющим, которые, в свою очередь, вряд ли переживали о барском состоянии, предпочитая формировать собственное. Борис Николаевич невероятно сомневался в собственных способностях относительно управления, а также возможности совмещать государственную службу с непомерно большим объемом документов и неотложных поездок по имениям. К собственной радости и приятному удивлению Бориса Николаевича, вступив в наследство, он проявил себя рачительным и хозяйственным собственником, практически таким же, как и его мать. Борис Николаевич в кратчайший срок покончил с «экономическими провалами» семейного хозяйства. Ему удалось сменить целый ряд значительных источников пополнения доходов. Более того, необходимо справедливо заметить, что он смог удесятерить состояние своих родителей, став богатейшим представителем русского дворянства. Большинство проводимых им коммерческих операций составляло коммерческую тайну, поэтому с учетом достоверности можно подтвердить весьма немногие операции. По некоторым данным, он через подставных лиц отдавал деньги в долг, попросту говоря, занимался ростовщичеством под определенный залог. Подобные деяния считались постыдными даже для рядового дворянина, не говоря уж о представителях титулованной знати из числа первых аристократических семей.