Но если уж что не заладится, то не заладится во всем. Дед Федор Андреевич Титов повздорил с дедом Есениным еще в то время, когда Татьяна Федоровна «невестилась». «Эта ссора, — вспоминала Александра, — тяжело отразилась на всей дальнейшей жизни матери, а особенно на детстве Сергея… Дедушка поздно хватился улаживать жизнь матери и после неудачных попыток тоже стал чуждаться ее. Через несколько лет мать наша, имея на руках трехлетнего Сергея, ушла от Есениных. Дедушка взял Сергея к себе, но мать послал в город добывать хлеб себе и своему сыну… Мать пять лет не жила с нашим отцом, и Сергей все это время был на воспитании у дедушки и бабушки Натальи Евтеевны. Сергей, не видя матери и отца, привык считать себя сиротою, а подчас ему было обидней и больней, чем настоящему сироте».
Дед Федор Иванович Титов был фигурой колоритной. Екатерина Есенина вспоминала его как человека, который «был умен в беседе, весел в пире и сердит во гневе». Он умел нравиться людям, ко всем находил подход. Горе он не мыкал, не бедствовал, у него было четыре баржи, которые он гонял в Петербург и в которых души не чаял — да и немудрено, так как прибыток от них был немалый. Вот свидетельство Екатерины Есениной: «Дом его стал полной чашей. В доме были работник и работница, хлеба своего хватало до нови. Лошади и сбруя были лучшими в селе». Когда Федор Андреевич глубокой осенью возвращался из торговых походов в Константиново, он по заведенному у себя обычаю устраивал пир на весь мир, на улицу перед домом выкатывали бочки с брагой и вином и угощали от души всех желающих. Увы, впоследствии Федор Андреевич разорился: две его баржи сгорели, а остальные две во время половодья сорвало с причала, течение унесло их и разбило.
В доме деда Титова Сергей прожил пять лет. Не приходится сомневаться в том, что эти годы наложили отпечаток на характер мальчика. В беседе с профессором Розановым, высоко ценившим стихи Есенина, поэт сказал: «Оглядываясь на весь пройденный путь, я все-таки должен сказать, что никто не имел для меня такого значения, как мой дед. Ему я больше всего обязан. Это был удивительный человек. Яркая личность, широкая натура, «умственный мужик». Дед имел прекрасную память и знал наизусть великое множество народных песен, но главным образом духовных стихов».
Если с дедом Титовым все ясно, то с матерью Есенина дело обстоит далеко не так. Примечательны слова Есенина в письме к Марии Бальзамовой, посланном из Москвы в конце 1912 года: «Мать нравственно умерла для меня уже давно». Их нельзя списать на обычный в семнадцать лет максимализм — письма к Марии дышат чистотой и откровенностью. Видимо, надо было достаточно настрадаться, чтобы высказаться так резко и импульсивно.