Не видавши Карла Павловича у Перовского, его люди нам стали отказывать, что Брюллов нездоров и его нельзя видеть. Как-то приезжает Карл Павлович ко мне в Кремль, я имел тогда казенную квартиру на углу Конюшенного корпуса, против церкви Увара. С ним явился и Дурнов. Он сказал, почему мы его не посещали чаще, и узнавши, что нам отказывали, весьма остался недоволен своею квартирою и желал бы из-под опеки освободиться, сказал: я перееду к Маковскому, вот у него есть особая комната и все будем видеться чаще. Сказано и сделано...»
Пребывание у Перовского было временем самым плодотворным для Брюллова. Жаль только, что неизвестно, как писал художник портрет молодого Толстого, о чем они говорили во время сеансов... Брюллов несимпатичных ему людей никогда не писал, а иной раз даже бросал начатый портрет или превращал его в карикатуру, если разочаровывался.
Алексея Толстого он написал с любовью. На портрете Толстой стоит с ружьем и ягдташем, в архалуке, под которым виднеется белоснежная рубаха с отложным воротником и манжетами; у ног собака; в смутном пейзаже угадывается тростниковое болото. Лицо у Толстого продолговатое, холеное, волосы завитые и тщательно уложенные, над фарфоровыми лазурными мечтательными глазами высоко подняты дуги бровей, крупный нос, изящные линии рта и подбородка... А вот плечи, грудь, руки развиты не по возрасту, мышцы распирают архалук, бугрятся...
Мещерский, в свое время описывавший этот портрет, свидетельствовал: «Действительно, Алексей Толстой был необыкновенной силы: он гнул подковы, и у меня, между прочим, долго сохранялась серебряная вилка, из которой не только ручку, но и отдельно каждый зуб он скрутил винтом своими пальцами».
Карл Павлович говорил страстно, как всегда. В то время он увлекался русской стариной. Он хотел написать картину о 1812 годе.
- Я так полюбил Москву, - говаривал он, - что напишу ее при восхождении солнца и изображу возвращение ее жителей на разоренное пепелище.
В Москве Брюллов взбирался на колокольню, на Ивана Великого, откуда открывалась картина, какой не увидишь ни в одном другом городе мира - больше тысячи многоцветных каменных церквей теснились вокруг Кремля, на горизонте вздымались колокольни монастырей, воздух был насыщен историей. Брюллову то чудился самозванец, идущий на Москву с разношерстной ордой негодяев, то привиделся встревоженный Годунов, «то доносились до него крики стрельцов и посреди их голос боярина Артамона Матвеева, то неслись на конях Дмитрий Донской и князь Пожарский, то рисовалась около соборов тень Наполеона...». Брюллов любовался кремлевскими теремами, а впечатление от Успенского собора было сродни впечатлению, произведенному церковью святого Марка в Венеции.