Поступление в Академию стоило отцу, конечно, жестокой борьбы. Скоро, однако, пришлось столкнуться по вопросу еще более важному. Родители уже выбрали ему невесту из купеческой семьи с подходящим состоянием. Но он задумал жениться по своему выбору. Мать моя была из семьи очень небогатой, у нее было пять сестер и шесть братьев, так что ни на какое наследство надеяться было невозможно. Отец ее был с коммерческой точки зрения ненадежный. Он арендовал землю, занимался сельским хозяйством и едва сводил концы с концами. На этот раз дело дошло до полного разрыва. Отец ушел из семьи, нашел место в суде на 20 рублей в месяц. Он рассказывал мне, с каким внутренним самоудовлетворением отказывался он от взяток и благодарностей <…> Дед, до безумия любивший своего единственного сына, Яшу, сам пришел к нему мириться. Отец вернулся в прежнее дело.
Семья моей матери была из Ельца. Отец ее, мой дед, Александр Яковлевич Бакулин, был довольно замечательным человеком. С внешней стороны он занимался сельским хозяйством. Впрочем, работать пробовал многое, арендовал землю etc. Но это была его внешняя жизнь, за ней же скрывалась иная. Он был поэт. Родился он в 1813 году и лично пережил пушкинскую эпоху. Подобно тысяче других, он был увлечен силой нашего величайшего поэта. Для него были только: Державин, Крылов, Пушкин и его современники — Дельвиг, Баратынский, кое-кто еще из плеяды. Остальных он не признавал, особенно новых.
Дед мой считал себя баснописцем. Он написал несколько сот, может быть, несколько тысяч басен. Собрание, где они переписаны, разделено на 12 книг, но там их не больше половины. Кроме того, он писал повести, романы, лирические стихи, поэмы… Все это писалось почти без надежды на читателя. В 40-х годах издал он маленькую книжку басен под заглавием «Басни провинциала». (На некоторых экземплярах было отпечатано: Басни А. Я. Бакулина); потом иногда удавалось ему пристроить басню или стихотворение в какой-нибудь сборник или газету («Рассвет», изд. Сурикова, «Свет» Комарова и т. п.). Но громадное большинство его писаний оставалось в рукописях, терялось, рвалось. Потому что все в семье относились с сожалением к его творчеству, старались не говорить о нем, как о какой-то постыдной слабости <…> Особенного образования детям дед дать не мог, а может быть, и не хотел. Все были грамотны, знали четыре правила арифметики, но кажется и только (Из моей жизни. С. 11, 12).
Мать Валерия Яковлевича, Матрена Александровна (1846—1920), дочь Лебедянского мещанина, поэта и баснописца-самоучки А. Я. Бакулина <…>, примерно в 70-м году покинула Елец, где воспитывалась как «барышня» у тетки-купчихи, приехала в Москву, сняла с шеи крест, остригла волосы, поступила на службу, повела знакомство с молодежью, стремившейся, как она сама, к образованию (Материалы к биографии. С. 119).