Юрий Александрович Олсуфьев родился в 1878 году в Петербурге на Фонтанке, 14. Этот трехэтажный дом напротив Михайловского замка и наискосок от Летнего сада был построен в XVIII веке, но позже переделан А. И. Штакеншнейдером и А. В. Щусевым и в таком виде существует теперь. Родителям Ю. А. Олсуфьева принадлежал верхний этаж дома, откуда впоследствии, после смерти отца в 1907 году, были вывезены многие старинные и памятные предметы, украсившие Олсуфьевскую усадьбу в Буйцах. Отец – граф Александр Васильевич Олсуфьев – принадлежал к известному дворянскому роду, представители которого, по разысканиям Юрия Александровича, упоминаются в источниках с XVI века; мать – Екатерина Львовна – была урожденная графиня Соллогуб, предки которой имели румынское происхождение. Как и всякая высокопоставленная петербургская дворянская семья, родители Юрия Александровича были тесно связаны с жизнью царского двора: отец был генерал-адъютантом и гофмаршалом при Александре III и Николае II и умер в должности управляющего придворной частью Московского Кремля. Да и сам Юрий Александрович, вплоть до окончания университета, числился в «золотой» молодежи, в «белоподкладочниках». Воспитываясь в придворной семье, он был товарищем детских игр великих князей – сыновей Александра III; особо доверительные отношения сложились у него с младшей дочерью императора – великой княжной Ольгой Александровной, тогдашний облик которой запечатлен на известном портрете В. А. Серова и чей фотографический портрет с автографом до сих пор сохраняется в семье наследников Юрия Александровича. В детстве и молодости Ю. А. Олсуфьеву случалось не раз общаться с Александром III и вдовствующей императрицей Марией Феодоровной, а затем с Николаем II и Александрой Феодоровной. Не удивительно, что после женитьбы в 1902 году на Софье Владимировне Глебовой (из рода Облагини) ему, не занимавшему в отличие от отца и деда никакой придворной должности и не служившему в гвардии, пришлось все же примириться с назначением Софьи Владимировны фрейлиной при дворе молодой императрицы.
Олсуфьевы могли гордиться замечательными представителями своей семьи. По обычаю роднясь с другими дворянскими фамилиями, они были теснейшим образом связаны с Васильчиковыми, Голицыными, Горчаковыми, Толстыми, Трубецкими, Долгорукими, Зубовыми, Мейендорфами, Розенами, Салтыковыми и многими-многими другими известными в российской истории титулованными родами. Один из предков Юрия Александровича – Василий Дмитриевич Олсуфьев – был гофмейстером Петра Великого, упомянутый прапрадед князь Александр Михайлович Голицын – основателем Голицынской больницы и картинной галереи при ней, другой прапрадед – адмирал Григорий Андреевич Спиридов – героем Чесменского сражения с турецким флотом. Наряду с государственными и общественными деятелями XVIII–XIX веков на страницах воспоминаний длинной чередой проходят и иные лица: родной дядя автора Алексей Васильевич Олсуфьев – кавалерийский генерал и вместе с тем знаток римской литературы, переводчик Марциала, друг Фета; Василий Алексеевич Комаровский – поэт; его брат Владимир Алексеевич – художник; сводный брат и друг Юрия Александровича Петр Иванович Нерадовский – художник-портретист и хранитель Русского музея, постоянный обитатель и фотолетописец буецкой жизни. Перед нами с большей или меньшей отчетливостью высвечиваются десятки лиц, сопровождаемые пристрастной, но всегда умной оценкой автора воспоминаний, не впадающего в какие-либо крайности и «окончательные» характеристики, которыми так страдают мемуары современников. Тут, несомненно, сказываются прочные традиции воспитания Ю. А. Олсуфьева, основанного на чисто английском сдержанном отношении к личности другого человека.