День открытия мужской гимназии 1 сентября 1864 года стал городским праздником. После освящения гимназии викарием Сафонием с торжественными речами выступили: инспектор казенных училищ, действительный статский советник князь Василий Дмитриевич Дабижа, губернатор Херсонской губернии с 1861 по 1868 г. Павел Михайлович Клушин[96], учитель Смирнов, гимназист выпускного класса Тоназевич. Среди присутствующих на торжественном открытии гимназии преподавателей гимназии был учитель математики и физики Эдмунд-Руфин Иосифович Дзержинский. Скорее всего, именно благодаря протекции губернатора Клушина, товарища по институту его тестя Игнатия Янушевского, Эдмунд-Руфин получил вакантное учительское место в гимназии. Отметим еще один интересный момент: в Одессе и Херсоне в этот период жили и родственники четы Дзержинских-Янушевских по линии Пилляр фон Пильхау, занимавшие там важные посты.
В целом начальство херсонской гимназии было довольно компетентным и инициативным преподавателем. Однако вскоре последовал циркуляр жандармского управления «Об установлении полицейского надзора за выходцами из Польши, которые пребывают в Херсонской губернии». Первоначально это, возможно, не играло определяющей роли, учитывая губернаторскую поддержку сверху. Отметим, что есть и иные, возможно менее вероятные, первоначально смягчающие циркуляр обстоятельства: в Херсонской губернии в Одессе в этот период проходил службу штаб-офицер 5 корпуса жандармов, адъютант подполковника Василия Алексеевича фон Роткирха — капитан Федор Яковлевич Янушевский[97]. Причем более важной в этом аспекте представляется именно личность его начальника — В.А. фон Роткирха, занимавшего этот пост в 1865–1867 гг. и скорее всего, оказывавшего также некоторое смягчающее покровительство новоявленному херсонскому поляку, учитывая свою известную пристрастность к польско-литовской литературе[98].
Тем не менее, постепенно пребывание Дзержинского в Херсоне становилось все более и более проблемным. Часто указывается, что на последующем отъезде из города сказался разгром херсонского кружка народников. Его руководитель, Соломон Лазаревич Чудновский (1849–1912), действительно был учеником Эдмунда-Руфина Дзержинского, окончив херсонскую гимназию в 1868 г. Впоследствии Чудновский поступил в Медико-хирургическую академию в Санкт-Петербурге, откуда был исключен за студенческие беспорядки в марте 1869 г. Вернувшись в Херсон, он организовал ряд народнических кружков, продолжая участвовать в народническом движении. В дальнейшем он участник знаменитого процесса 193-х (по нему проходили участники «хождения в народ»), в конце жизни являлся членом партии кадетов. Однако хронологически найти эту связь проблематично.