Но больше всего его заинтересовали в Абрамцеве лошади. Он быстро перезнакомился со всеми конюхами и кучерами и вечно торчал около лошадей, выучился отлично ездить верхом, подходил к лошадям смело, и они слушались его.
Он как-то признался своим новым друзьям, что мечтает найти клад и завести конюшни, где были бы лошади всех пород мира: и арабские, и русские, и шотландские. А он бы только и делал, что ездил на них и рисовал их.
Первое время он в Абрамцеве действительно много рисовал лошадей с натуры и по памяти, но потом совсем забросил всякое рисование. Требования его превысили его мастерство. Этот десятилетний мальчик хотел совершенства, но чувствовал свое бессилие. Он уничтожал свои рисунки, а потом и совсем перестал рисовать.
Это было тем более легко, что в Абрамцеве шла развеселая жизнь, художников там еще не было. То и дело устраивались пикники, поездки на плотах по речке Воре, катание на лодках, ужение рыбы. Он впервые наслаждался радостями жизни. Радость, однако, продолжалась недолго. Осенью Валентина Семеновна увезла сына в Петербург. Потом Серовы уехали в Киев к Немчинову, и только спустя три года, в 1878 году, Серов опять появился в Абрамцеве, на сей раз уже как ученик Репина, поселившегося в Москве.
К этому времени Савва Иванович успел создать кружок художников, о котором мечтал со времени поездки в Рим.
Первым в этом кружке оказался Неврев, старинный друг Саввы Ивановича.
Неврев приезжал в Абрамцево ненадолго, но часто, и без него не обходилась ни одна почти затея кружка.
Поленов и Репин появляются у Мамонтовых в 1876–1877 годах. Ежегодно приезжает из-за границы и гостит в Абрамцеве Антокольский. Таким образом, опять, очутившись в Абрамцеве, Серов попадает в ту художественную атмосферу, которая способствует его работе.
Зимой он живет у Репина, посещает вместе с ним московский дом Мамонтова на Садово-Спасской, летом – вместе с Репиным в Абрамцеве или в близлежащих селах: Хотькове, Репихове, Быкове. Здесь Репин пишет «Крестный ход», «Проводы новобранца», набрасывает первый эскиз «Запорожцев». И вместе с ним, а нередко и без него гостит в Абрамцеве Серов.
«Серов, попавший к нам в семью ребенком, был для нас как родной, – вспоминает В. С. Мамонтов. – Недаром он, будучи особенно привязан к моей матери, неоднократно говаривал, что любит ее не меньше своей родной матери».
Поистине он был родным в этом доме. Он жил там месяцами. Он там озорничал вместе с молодыми Мамонтовыми и даже больше их.
«Я не помню подробностей того, когда и при каких обстоятельствах Серов… переселившийся со своей матерью в Петербург, снова появился в Москве – у меня осталось чувство, будто он постоянно проживал у нас. Все, какие ни возьми, наши мальчишеские подвиги неразрывно связаны с Антоном».