Была она и в ту пору, когда только что получивший гетманскую булаву Кирила Разумовский проезжал большаком от Брянска. Увидев рощу, он пришел в восторг и велел построить в ней себе дворец, и будто бы даже Красный Рог едва не стал столицей гетманства.
Но главное строительство началось в Почепе, где воздвигнут был громадный дворец и Воскресенский собор, колокольня которого в ясный день была видна из Красного Рога, где по проекту Растрелли встал среди липовой рощи деревянный охотничий замок. Местная легенда говорит, что через брянские леса была прорублена широкая просека, по которой строитель-немец должен был проложить совершенно прямую дорогу от ворот краснорогского здания до главного входа в почепском дворце. И этот немец будто бы пожалел одного крестьянина, чей дом надо было снести, проводя дорогу, и чуть отклонил ее. В Почепе это отклонение уже составило сорок метров. Гордившийся своим искусством немец не в силах был вынести такого срама и повесился. А оказалось, что дорога в точности пришлась куда надо, когда дворец в Почепе достроили...
По этой-то дороге и привезли маленького Алешу Толстого в краснорогский дом. Ныне дороги уж нет, да и дом сгорел во время Великой Отечественной войны. А дом был большой, на высоком каменном фундаменте, с высокими окнами, множеством покоев, с восьмигранным бельведером, сквозь полуциркулярные окна которого лился верхний свет в очень высокую залу. Бельведер венчался смотровой площадкой с перилами и башенкой посередине. Сверху был виден весь парк - разбегающиеся во все стороны липовые аллеи, куртины перед парадным подъездом и террасой, флигеля и службы, дубы, лиственницы, гигантские клены, серебристые тополя, туи, черемуха, белые акации, ели, множество обвитых хмелем уютных беседок, фруктовый сад за парком, река и мельница на ней, омут, березовая роща за рекой, сосновый лес на севере, луга, крестьянские поля...
Алексей Константинович Толстой вспоминал: «Мое детство было очень счастливо и оставило во мне одни только светлые воспоминания. Единственный сын, не имевший никаких товарищей для игр и наделенный весьма живым воображением, я очень рано привык к мечтательности, вскоре превратившейся в ярко выраженную склонность к поэзии. Много содействовала этому природа, среди которой я жил; воздух и вид наших больших лесов страстно любимых мною, произвели на меня глубокое впечатление, наложившее отпечаток на мой характер и на всю мою жизнь и оставшееся во мне и поныне».
Ради сына Анна Алексеевна Толстая отказывалась от светских развлечений. Даже незначительное его недомогание было для нее трагедией, а любой его поступок или успех - целым событием. Она не мыслила себе и дня, который бы прожила без ненаглядного белокурого сыночка изнеженного и вместе с тем рослого, сильного, подвижного, всегда одетого в нарядные костюмчики, на какие только была способна ее фантазия. Очень добрый от природы, Алеша платил ей такой же беззаветной любовью и почтительностью, которой, казалось бы, трудно было ожидать от избалованного ребенка. Хорошие задатки развивались продуманной системой воспитания, о чем неусыпно заботился дядя Алексей Перовский.