В «Записках Василия Антоновича Инсарского» говорится: «Граф Алексей Толстой был в то время красивый молодой человек, с прекрасными белокурыми волосами и румянцем во всю щеку. Он еще более, чем князь Барятинский, походил на красную девицу; до такой степени нежность и деликатность проникала всю его фигуру. Можно представить мое изумление, когда князь однажды сказал мне: «Вы знаете, это величайший силач!» При этом известии я не мог не улыбнуться самым недоверчивым, чтобы не сказать презрительным образом; сам принадлежа к породе сильных людей, видавший на своем веку много действительных силачей, я тотчас подумал, что граф Толстой, этот румяный и нежный юноша, силач аристократический и дивит свой кружок какими-нибудь гимнастическими штуками. Заметив мое недоверие, князь стал рассказывать многие действительные опыты силы Толстого: как он свертывал в трубку серебряные ложки, вгонял пальцем в стену гвозди, разгибал подковы. Я не знал, что и думать. Впоследствии отзывы многих других лиц положительно подтвердили, что эта нежная оболочка скрывает действительного Геркулеса».
В короткой автобиографии, составленной много позже для итальянского литературного критика Анджело де Губернатиса, Алексей Толстой писал, что к страсти к искусству и Италии «вскоре присоединилась другая, составлявшая с ней странный контраст, на первый взгляд могущий показаться противоречием: это была страсть к охоте. С двадцатого года моей жизни она стала во мне так сильна и я предавался ей с таким жаром, что отдавал ей все время, которым мог располагать. В ту пору я состоял при дворе императора Николая и вел весьма светскую жизнь, имевшую для меня известное обаяние; тем не менее я часто убегал от нее и целые недели проводил в лесу, часто с товарищем, но обычно один. Среди наших записных охотников я вскоре приобрел репутацию ловкого охотника на медведей и лосей и с головой погрузился в стихию, так же мало согласовавшуюся с моими артистическими наклонностями, как и с моим официальным положением; это увлечение не осталось без влияния на колорит моих стихотворений. Мне кажется, что ему я обязан тем, что почти все они написаны в мажорном тоне, тогда как мои соотечественники творили большею частью в минорном».
Весной 1837 года, судя по письмам, Алексей Толстой с матерью живут в Красном Роге. Охота заполняет почти все его время. Он бьет лис, косуль, зайцев. По ночам подстерегает волков.
Анна Алексеевна в это время захвачена хозяйственной деятельностью. Она переносит на другое место флигель (из всех краснорогских зданий он один только и сохранился), она самовластно вводит строгости по отношению к крестьянам, которые при сердобольном и снисходительном Перовском привыкли к безнаказанности за потравы и порубки в господских владениях. Ожесточенные новыми порядками, двадцать пять крестьян из Рославца подстерегли в Пашицком лесу главного лесника, напали на него и избили до полусмерти.