Социал-демократ Евгений Ананьин, знавший его в это время, вспоминал о нем так: «Небольшого роста, крепко скроенный, затянутый в свой юнкерский мундир, он производил впечатление своей серьезностью (не по летам) и известной замкнутостью. Склад его лица был скорее сосредоточенный, хмурый и даже суровый, но порой оно озарялось какой-то нежной и почти детской улыбкой. Но это случалось редко, и он, как говорится, не любил давать воли своим чувствам. Обычно вид у него был важный и почти недоступный, или, может быть, эта важность была надуманной, не совсем ему свойственной и которую он носил как защитную маску. Сразу поражал в нем и волевой уклон всей его личности. Говорил он немного, на слова был скорее скуп, но то, что он говорил, отличалось (или так казалось мне тогда) значительностью».
В училище Антонов-Овсеенко вступил в РСДРП и стал одним из создателей «военно-революционной организации». Юнкера читали газеты и нелегальную литературу. В 1904 году он был выпущен из училища в чине подпоручика и направлен к месту прохождения службы — в 40-й пехотный Колыванский полк в Варшаву. Там он тоже занимался нелегальной работой.
В марте 1905 года подпоручик Овсеенко получил назначение в действующую армию — на Дальний Восток, где шла война с японцами. Но к месту службы так и не прибыл — дезертировал из армии и ушел в подполье. Скрывался в Кракове (тогда этот польский город находился в составе Австро-Венгрии), затем перебрался в ту часть Польши, которая тогда входила в состав Российской империи, где познакомился с польским эсдеком Феликсом Дзержинским. Они готовили восстание военных в городе Новоалександрия (Пулавы) на юго-востоке Польши. Оно, впрочем, провалилось.
Он писал статьи и революционные прокламации, подписывая их псевдонимом «Штык». Затем был направлен на подпольную работу в Кронштадт, где в июле 1905 года во время демонстрации его арестовала полиция. При аресте у него нашли поддельные документы на имя подданного Австро-Венгрии Стефана Дольницкого. Подлинное имя арестованного установить тогда не удалось, что, вероятно, спасло Овсеенко от смертного приговора. С офицером-дезертиром, занимавшимся «подрывной деятельностью» в то бурное время, вряд ли бы стали церемониться. Но тогда ему повезло. Его выпустили по амнистии, объявленной по случаю издания императорского Манифеста 17 октября о «даровании гражданских свобод».
Овсеенко работал в Петербурге (в конце 1905 года его избрали членом Петербургского комитета РСДРП), где познакомился с Лениным, редактировал военную газету большевиков «Казарма». Любопытно взглянуть на него в это время глазами полиции. Его внешность и приметы описаны в «ориентировке», разосланной сотрудникам Московского охранного отделения (в марте 1906 года «Штык» поехал в Москву на конференцию военных организаций большевиков). Итак: «Малый рост, блондин с едва пробивающимися усами и бородой, худощавый, прищуривается, говорит, растягивая слова, ходит в пенсне».