Алексею Толстому в это время жилось привольно. Его мать Анна Алексеевна часто уезжала в Петербург, а он писал стихи, тратил деньги, покупал собак, увлекался танцами, ездил каждый день завиваться, брал (безуспешно) уроки игры на флейте и мандолине, влюблялся в сестер своих приятелей, среди которых были Самарины и молодые князья Мещерские и Черкасские.
Впрочем, у него было слабое горло, он часто простужался и в 1835 году взял на четыре месяца отпуск, чтобы подлечиться в Германии.
И все это время он готовился к университетскому экзамену. Его дядья Алексей, Василий и Лев Перовские закончили Московский университет с докторскими и кандидатскими дипломами, того же они ждали от племянника.
Но держал он лишь экзамены «из предметов, составляющих курс словесного факультета, для получения ученого аттестата на право чиновников первого разряда».
Сдал он экзамены по английскому, французскому, немецкому языку и словесности, латинскому языку, всеобщей и российской истории, русской словесности и российской статистике, получив за все вместе 33 балла.
Это было 17 и 18 декабря 1835 года, а 25 декабря в Москву из-за границы приехал Брюллов.
Карл Павлович Брюллов велел остановить экипаж у гостиницы на Тверской и тотчас щедро рассчитался с сопровождавшим его человеком, подарив ему вдобавок свою лисью шубу. Художник хандрил, у него болела голова, но на другой же день он отправился к своему товарищу по академии Ивану Дурнову. Туда же стали ходить московские художники, слушали с открытыми ртами Брюллова, невысокого, с белокурыми вьющимися волосами, выпуклым лбом. Однажды, вернувшись к себе в гостиницу, он не нашел своих чемоданов и услышал от хозяина:
- Его превосходительство господин Перовский изволили-с забрать. Они тут рядом живут, на Тверской же, в доме господина Олсуфьева...
По-разному описывали пребывание Брюллова в квартире Перовского.
Версия приятеля Алексея Толстого князя А. В. Мещерского совпадает с тем, что сообщал Пушкин со слов Перовского в письме к жене. Перовский давно уже заказал Брюллову портреты сестры, племянника и собственный. Он собирался щедро вознаградить Брюллова, но, зная, мол, о его невоздержанности, о буйной молодости, капризном нраве и непостоянстве, поставил условие, чтобы художник неотлучно находился в квартире до окончания портретов, не брал работ со стороны... Сперва будто бы художник был польщен своим положением в доме и был очень доволен хозяином, который умел очаровывать людей. Перовский тоже наслаждался беседами с умницей Брюлловым. Первым художник написал Алексея Толстого в охотничьем платье. Все были в восторге, и польщенный Брюллов приступил к портрету Перовского, но потом охладел к работе, стал исчезать из дому. Перовский усугубил любезность, но потом как-то не выдержал и «весьма мягко прочел отеческое наставление». Это стало так раздражать художника, что он кое-как закончил портрет Перовского и бежал из дому, не взяв своих чемоданов и так и не начав портрета Анны Алексеевны Толстой.