Мудрый и обаятельный князь всегда имел немало недоброжелателей и завистников, особенно в среде не очень-то и образованного дворянства средней руки. Разумеется, о нем всегда ходили самые разнообразные слухи и сплетни. Среди всех рассказов о Николае Борисовиче можно выделить милый исторический анекдот о простых нравах, бытующих в ближайшем круге общения Екатерины Великой.
Как-то раз Юсупов обедал с царицей. На обед полагался гусь. Екатерина спросила князя, вспоминая его европейские привычки:
– Известно ли вам, князь, как следует разрезать столь важную птицу?
– Мне ли не знать, – отвечал Николай Борисович с легкой надменностью на лице. – Эта птица давно нам знакома и очень дорого обошлась нашему роду. Моему предку пришлось поплатиться за нее половиной своего имения!
– Как так? – удивилась царица.
– Да пригласил как-то прадедушка Дмитрий Сеюшевич патриарха Иоакима на обед. А дело происходило в пятницу на Страстной неделе. На стол подали жареного гуся, а день-то был постным. Патриарху было неловко отказываться от угощения, и чтобы не обидеть гостеприимного хозяина, вот он и согрешил, а затем обо всем рассказал царю. Это угощение от мусульманина приняли как религиозное оскорбление. Царь Федор Алексеевич в тот же час приказал забрать у прадедушки половину имущества. Проступок свой Дмитрий Сеюшевич решил загладить принятием Православия, и царь, соответственно, возвратил ему отнятое.
Выслушав сей исторический анекдот, Екатерина долго смеялась, после чего, улыбаясь, спросила:
– Ничего, князь, у тебя и без этого немало осталось. В случае чего и меня и мое семейство сможешь прокормить.
В действительности, денег в конце царствования Екатерины Второй у Юсупова оставалось не столь уж много. Финансовая сторона дел князя оказалась порядком запущена и в некотором смысле запутана. Николай Борисович все больше и больше занимался рассмотрением дел государственного характера, нежели своих собственных проблем.
По возвращении на Родину, князь уже не застал в живых тяжело болевшую мать, княгиню Ирину Михайловну. За пару месяцев до смерти, 20 января 1788 года, Ирина Михайловна написала и отправила Николаю Борисовичу последнее письмо, наполненное самыми теплыми чувствами и материнской любовью, а также гордостью за обожаемого и единственного сына, которого, как она сама и предполагала, увидеть ей больше не удалось. Очевидно, что приехать из Италии в Россию на похороны матери Юсупов физически не мог – дорога потребовала бы не менее месяца. Даже дипломатическую почту доставляли не без трудностей.