Время шло. Уже на третьем году после революции в Москве состоялись спортивные соревнования двадцати городов республики. В 1922 году 200 легкоатлетов встретились на чемпионате РСФСР. В 1928-м состоялась Всесоюзная олимпиада — 7000 участников, а между тем совсем рядом, в каких-нибудь тридцати-сорока километрах от открывшегося стадиона «Динамо», зимой и летом купались и бегали два парня, взрослели и не делали ни одной попытки хотя бы прийти посмотреть соревнования.
Все складывалось так, что Георгий с Серафимом должны были бы пойти по стопам старшего брата и в выборе своего будущего. Сергей Иванович организовал клуб в Зеленовке, потом работал массовиком на фабрике имени Володарского, наконец, уехал в Москву, где устроился на заводе инструктором физкультуры.
Тот же путь избрал Георгий Знаменский. В 1925 году его приняли на «Володарку» массовиком. И он сразу нашел себя. Вот как рассказывает о том периоде бывшая работница фабрики П. В. Наумычева:
«Помню, днем он ходил всегда в простеньком физкультурном костюме, ну а вечером накидывал пиджачок — коротенький такой, с одеждой ох плохо было. Я была в активе, комсомолка, ведала ссудной кассой, все его дела происходили у меня на глазах. Делал он все: и стенгазету выпускал, и плакаты, и кружки самодеятельные организовывал, и спектакли, и игры всякие, и футбол, и танцы. С утра до ночи по фабрике снует. А на фабрике все больше мы, девушки, работали — «девочки», как нас называли, и каждая, бывало, после работы домой, в деревню торопится, к хозяйству. Директор выйдет: «Что же, — говорит, — они у тебя все разбежались?» А Жора спокойно: «Ничего, — говорит, — придут». И верно: коров подоят, огороды польют, и вот одна за другой прибегают. Темно уж, а у нас возле фабрики самое веселье. Те, которые при хозяине работали, говорили, что прежде такого не знавали».
Но Серафим в организаторы не годился, хотя работал тут же, каменщиком на строительстве плотины.
Он постоянно пребывал в каких-то размышлениях, и, о чем ему мечталось, можно только предполагать, исходя из некоторых его поступков.
Плотина. Жара. Голые по пояс каменщики, черные и запыленные, укладывают камни. Наступает время перекура, все усаживаются, Серафим продолжает таскать камни. Конечно, насмешки. Он терпит-терпит, а потом уйдет. И все молча.
Многим, конечно, было невдомек, что он придерживается своих спортивных принципов. Но сказать, объяснить себя Серафим никогда не мог решиться.
Конец рабочего дня. Он искупается и идет в фабричную библиотеку. Читает, ни с кем не заговаривая, часто отводя глаза в сторону и задумываясь. А Георгий в это время «работает» с массами.