Его старая мать и две сестры живут под Дмитровой, неподалеку от Москвы на пути в Дубну, где расположен Центр атомных исследований. Я часто езжу к ним вместе с Варенцовым, чтобы отвезти продукты или просто проведать. У женщин прекрасный небольшой сад, в котором приятно отдохнуть. Родственники Варенцова нуждаются в материальной помощи, и он дает им каждый месяц 500 рублей (старыми).
Дочь Варенцова Наташа, которая родилась в 1946 году, живет с родителями в Москве. Брат Варенцова, Николай Сергеевич Варенцов, полковник инженерных войск, замечательный человек. Во время войны мы вместе с ним и Сергеем Сергеевичем сражались в частях 1-го Украинского фронта. Впоследствии Николай женился на ППЖ своего брата (ППЖ — сокращенно «походно-полевая жена»). Однажды на фронт приехала законная жена Сергея Сергеевича и, обнаружив в блиндаже мужа предметы дамского туалета, устроила ему скандал. Тут на выручку брату пришел Николай и сказал, что это он перед ее приездом был в блиндаже брата со своей фронтовой подругой и что это ее вещи. Вскоре после этого Николай женился на ППЖ своего родного брата, хотя та к тому времени уже была беременна от Сергея Сергеевича. Теперь у них три дочери, одна из которых не Николая, а Сергея Сергеевича. На этой почве у них никогда не возникало скандалов — все разрешилось мирно, по-семейному.
Дочь Варенцова Елена замужем за капитаном артиллерии Леонидом Гончаровым. Живут они в Ленинграде. Муж Елены учится в Ленинградской артиллерийской академии. До учебы он служил в Западной группе войск, расквартированной в Восточной Германии. Затем Сергей Сергеевич помог ему перевестись в Ленинград и поступить в военную академию. В Москву они наведываются довольно часто и останавливаются на даче Варенцова. Сергей Сергеевич материально им помогает — дает 1000 рублей (старыми) ежемесячно. У них двое детей: Саша и Сережа. Елена очень капризная и избалованная женщина. А избаловал ее отец. У Варенцовых две прислуги и садовник. Кроме того, к ним в дом приходят несколько солдат, которые, как они говорят, помогают по хозяйству. У Варенцова машина с личным шофером, армейским сержантом. Всему персоналу, приставленному к семье Варенцовых, за исключением садовника, платит государство. Работу садовника Сергей Сергеевич оплачивает из собственного кармана.
Варенцов заметно стареет. Выпивать стал умеренно. Перед моей командировкой в Лондон он попросил меня привезти ему какое-нибудь средство для повышения потенции. По крайней мере, желание у него еще не пропало, и это уже хорошо.
Подготовка к празднованию его шестидесятилетнего юбилея в 1961 году заняла много времени. Его семья, родственники и друзья ждали этого дня и готовились к нему. Каждый заранее позаботился о подарке для юбиляра. Хотя Варенцов родился 15 сентября, день его рождения отмечали в субботу, то есть 16-го.