По преданиям, которые рассказывают и по сей день в селе Красный Рог, Толстого занимала не только охота. В громадном парке и сегодня еще можно найти Поляну, тесно обсаженную липами так, что они образуют круг. В середине этого круга молодой Толстой будто бы устраивал веселые празднества - девушки из села пели песни, показывали свое искусство бродячие скоморохи и плясуны. В «шалаше» - своеобразном зале на чистом воздухе, со стенами из подстриженных лип - на помосте стоял стол, за которым пировали молодой хозяин и его друзья. Рассказывают, что силач Алексей любил мериться силами с деревенскими богатырями.
В 1837 году Толстой съездил во Франкфурт-на-Майне, к месту службы. Там он впервые увиделся с Гоголем, с которым случилось забавное происшествие, о чем поведал со слов Алексея Толстого Пантелеймон Кулиш. Тот писал, что, остановись в одной из франкфуртских гостиниц, Гоголь «вздумал ехать куда-то далее и, чтобы не встретить остановки по случаю отправки веющей, велел накануне отъезда гаускнехту (то, что у нас в трактирах половой), уложить все вещи в чемодан, когда еще он будет спать, и отправить их туда-то. Утром, на другой день после этого распоряжения, посетил Гоголя граф А.К. Т(олстой), и Гоголь принял своего гостя в самом странном наряде - в простыне и одеяле. Гаускнехт исполнил приказание поэта с таким усердием, что не оставил ему даже во что одеться. Но Гоголь, кажется, был доволен своим положением и целый день принимал гостей в своей пестрой мантии, до тех пор пока знакомые собрали для него полный костюм и дали ему возможность уехать из Франкфурта».
Из-за рубежа Толстой вернулся в Петербург.
Он еще находится под «обаянием» большого света, который, по словам Соллогуба, умел и любил веселиться; на родовитых россиян еще не пахнуло ни английской де-ревянностью, ни французской распущенностью. Богатые дворяне стараются перенимать у соседей европейцев все щегольское, красивое, тонкое. Быть комильфотным - значит не позволять себе ничего экстравагантного. Ценится опрятность во всем - белоснежное белье; ни пылинки, ни складки на платье: на английском макинтоше без талии, панталонах от Шевреля, фраке, шитом в Лондоне...
Версификация среди образованного сословия - болезнь повальная, но почитаются поэты истинные - Пушкин, Жуковский, Баратынский, Языков... В домашних спектаклях играют все без исключения - от мала до велика. В многочисленных салонах царил умеренно фрондерский дух, что воспринималось императором, строго следившим за проявлениями истинного вольнодумства, с достаточной снисходительностью.