Уже в то время, когда он, только что расставшись с Серовым после Венеции, вел с ним переписку, он подготавливал это предприятие, которым прославился едва ли не больше, чем своей нашумевшей картиной «Сиверко», после которой ничего значительного не написал. Уже тогда при каждой возможности выпрашивал он у Серова, да и у других своих друзей-художников картины, рисунки, этюды.
Он, конечно, очень искренний друг, он не за страх, а за совесть печется о серовских картинах, посланных на периодическую выставку, но в письме осторожненько намекает: «Я убежден все же, что если не первую, так вторую премию ты получишь. Готов идти на пари даже. Разумеется, на этюд». И когда Серов, действительно получивший премию, на радостях дарит ему, хотя пари и не заключалось, «Набережную Скьявони» – венецианский этюд, – Остроухов охотно берет его, а ведь он мог бы за те же триста рублей, что уплатил Третьяков, купить тогда «Девушку, освещенную солнцем». Но это не в его правилах – покупать так, как покупает Третьяков. Он не собирает систематическую коллекцию живописи какой-то одной школы. Его система – это его вкус. Его принцип – удача: заплатить за вещь много меньше, чем она стоит. «Он коллекционировал без денег, – вспоминает А. Эфрос, – это было следствием его положения. Он покупал на грош пятаков. Надо было, в сущности, затратить состояние, чтобы оставить такой музей. Он же выдал только кое-что. Конечно, он был богат, но это имело лишь вспомогательное значение. Он не любил пользоваться своими возможностями. Искусство не должно было отягощать его кошелька».
У него оказались и серовские «Волы», которых тот писал целую осень в имении Кузнецова, и копия с Веласкеса, написанная в Мюнхене, и один из зимних пейзажей Абрамцева, и один из мурманских этюдов, и множество других рисунков, этюдов, которые Серов дарил, отдавал за долги, продавал в минуту безденежья. В 1907 году Серов писал Остроухову: «В настоящую минуту остался совершенно без средств к существованию – а по сему не можешь ли прислать мне небольшую совсем сумму денег, равную, скажем, стоимости неудачного рисунка с Ландовской». Еще бы! Илья Семенович небольшую сумму прислал и портрет (по мнению Серова, неудачный) клавесинистки Ванды Ландовской получил.
В результате, пользуясь дружескими отношениями с Серовым, Остроухов собрал тридцать шесть его вещей, в то время как в Третьяковской галерее было лишь тридцать пять, а в Музее Александра III – тридцать одна.
Так, разумеется, обстояло не только с Серовым. Один из учеников Левитана рассказывает, что был очевидцем того, как однажды Остроухов долго и настойчиво выпрашивал у Левитана этюд к «Владимирке», даже положил его уже в боковой карман и вернул только в обмен на другой этюд.