Вместо того чтобы, став служащим, забыть о живописи, Малевич принялся за неё с новым рвением. Он опять нашёл себе единомышленников. Один из его сослуживцев, счетовод Валентин Лобода, тоже любил рисовать и даже учился некоторое время в Киеве у Николая Ивановича Мурашко, знаменитого украинского иконописца. Вскоре к ним присоединилось ещё несколько человек, и образовался кружок любителей рисования. Свободного времени было мало. Казимир иногда ставил этюдник прямо на окно и начинал в рабочее время писать вид. Начальник заметил это и сделал ему замечание, но понял потребность художников и разрешил им собираться после работы в одной из комнат управления и рисовать.
Молодые любители живописи выписали из Московского художественного училища разные пособия, гипсовые головы и фигуры; рисовали и с натуры. Это были целые путешествия, подобно тому как другие ходят на рыбалку или пикники. По выходным, взявши с собою грудинку и чеснок, сало и сыр, захватив напитки, повесивши на плечо художественные принадлежности, молодые чиновники-художники ходили по деревням и полям, вволю рисовали, закусывали, пили в деревнях парное молоко и проклинали ненавистную службу ради заработка, мешавшую всецело отдаться любимому призванию. Работали, конечно, в традициях реализма, так как ничего другого не знали. Кумирами Малевича были в то время передвижники Шишкин и Репин, с которыми он был знаком по репродукциям.
Узнал про кружок и также влился в него художник Лев Квачевский, акцизный надзиратель на спиртоочистительном заводе. Квачевский обладал перед чиновниками большим преимуществом, он был почти настоящим художником: когда-то закончил два курса Императорской академии художеств в Санкт-Петербурге, да вот… женился и с помощью родителей устроился на неплохую должность, не прекращая притом рисовать. Со Львом Квачевским Малевич особенно сблизился. Гораздо позже, в 1913 году Квачевский будет писать ему письма, приглашая поучаствовать в курских выставках, и притом по-дружески советуя «привезти, кроме ослов, нормальных художников», и резко критикуя предполагаемые намерения Малевича, ради повышения популярности, «есть живого человека или выматывать кишки из собственного живота». Не входил в кружок, но очень нравился Малевичу талантливый курский художник Владимир Голиков. Малевич только считал его лентяем и искренне не понимал, как, имея в руках выучку и дар, он может не рисовать одержимо день за днём. Уж ему-то, самому-то, только дай волю!
Кружок ширился, одним рисованием дело не ограничивалось — начали устраивать ежегодные выставки. Это были первые в истории художественные выставки в Курске. В них участвовали не только сами курские «любители», но и известные художники из других городов, такие как В. Э. Борисов-Мусатов, К. Ф. Юон, Ф. И. Рерберг, А. А. Ясинский и др. Могло бы показаться, что Малевич в своих воспоминаниях преувеличивает свою роль в организации этих выставок, — но факт остаётся фактом: всё завертелось именно вокруг него.