В этой книге раскрыто много семейных тайн, которые сами Строгоновы предпочли бы скрыть. Но они вынуждены допускать в свой круг гувернеров, некоторые из них были обижены и впоследствии рассказали об отдельных страницах жизни своих работодателей. Среди них был Ф.И. Буслаев, который не только указал на сущность претензии, как правило, это было высокомерие хозяев, но точно описал драматическую сцену: «Вероятно, многим из читателей „Моих воспоминаний“ бросился в глаза один очень видный пробел. Главным действующим лицом постоянно является в моих рассказах граф Сергий Григорьевич Строгонов, а о графине я упоминаю только вскользь и то редко. Несмотря на самое сердечное желание заслужить ее благосклонность ко мне, я в течение всего семилетнего проживания у них в доме не удостоился от нее ни малейшего знака внимания. Она не только ни разу не явилась в классную комнату своих дочерей во время моего с ними урока, но даже никогда и не спрашивала меня, что и как я им преподаю. Мне всегда казалось, будто ей обидно и противно, что какой-то учителишка проживает в ее доме и еще позволяет себе унижать ее дочерей, требуя он них внимания, сидя с ними рядом во время урока. Мне было очевидно, что она ставила меня ниже своих горничных и лакеев. С ними она говорила снисходительно и иногда даже ласково. Я ее видел только за завтраком, обедом и ужином, — когда я входил в столовую, отвешивал ей мой почтительный поклон, она же или не заметит, глядя мне прямо в лице, а то круто отвернется, будто от какой погани.
Как раз через год после моего вступления в должность наставника в дом Строгоновых <…> однажды после ужина, по принятому обычаю мы сидели в гостиной — графиня на диване, налево от нее на креслах две дочери с гувернаткой m-llе Дюран, а направо оба ее сына, их гувернер Тромпеллер и я. Это официальное сиденье продолжалось обыкновенно полчаса и было неимоверно скучно, потому что было решительно безмолвно. Но на этот раз безмолвие было нарушено самой необычной выходкою. Графиня привстала и громко проговорила, обращаясь ко мне: „Федор Иванович, ступайте вон, я не могу на вас смотреть“. Решительно не помню, как я вышел, как очутился на прекрасной вышке в своей комнате, что я чувствовал и как, наконец, лег спать. Помню только, что меня сильно била лихорадка, и я всю ночь не смыкал глаз. Это была только одна бессонная ночь во всей моей жизни».
Далее последовал отказ от преподавания, мучительная сцена извинения графини и, много позже, разъяснение ситуации, которое Буслаева не удовлетворило: по мнению Наталии Павловны, гувернер не имел права в ее присутствии смотреть на часы.