Справедливости ради надо сказать, что Харьков постепенно стал утрачивать прежние ведущие футбольные позиции даже еще до того, как перестал быть столицей Украины. В 1928 и 1929 годах харьковчане, правда, вновь стали чемпионами республики. В следующие два года первенство Украины по футболу не разыгрывалось, а в 1932 году чемпионский титул впервые выиграла сборная Киева, которая почти целиком состояла из футболистов киевского «Динамо». В финальном матче харьковчане, семикратные чемпионы республики, уступили им победу со счетом 1:3.
Однако в 1933 и 1934 годах сборная Харькова дважды подряд опять доказала, что остается сильнейшей в республике, но в 1935 году чемпионом республики стала сборная Днепропетровска. После этого главным футбольным центром Украины стал столичный город Киев. Тем не менее в сборной Украины играли и харьковские футболисты. На уровне сборной города они тоже еще добивались относительных успехов.
Но в чемпионатах СССР после победы харьковчан в 1924 году ни одной другой украинской команде так и не удалось хоть однажды стать первой. Всесоюзные футбольные первенства по-прежнему разыгрывались нерегулярно, и регламент их то и дело менялся. Следующий после 1928 года чемпионат СССР (на нем сборная Украины проиграла в финале сборной Москвы — 0:1) состоялся только в 1931 году. На этот раз сборная Украины дошла до полуфинала, где проиграла сборной Закавказья — 0:3. В свою очередь, кавказцы в финале были разгромлены сборной РСФСР со счетом 1:7.
В первенстве СССР 1932 года сразу две украинские команды — сборная Харькова и сборная Донбасса — опять-таки пробились в полуфиналы, но обе проиграли: харьковчане ленинградцам, а донбассцы москвичам. Чемпионом СССР на этот раз стала сборная Москвы, разгромившая в финальном матче сборную Ленинграда — 5:1.
После этого первенство СССР три года опять не разыгрывалось, а в 1935 году регламент снова изменился: теперь за победу боролись сборные шести городов, проводившие между собой турнир в один круг. Чемпионом СССР вновь оказалась сборная Москвы, вторым призером — сборная Ленинграда, третьим — сборная Харькова.
Это было, однако, уже последнее первенство СССР на уровне сборных команд городов и союзных республик. В 1936 году случился эпохальный для советского футбола поворот: начались регулярные чемпионаты страны среди клубных команд по двухкруговой системе, как это давно уже было принято в других странах. Летом того же года впервые был разыгран и Кубок СССР по футболу. Чемпионаты СССР и розыгрыши Кубка СССР с тех пор прерывались лишь однажды — в годы Великой Отечественной войны. Возобновилось же союзное первенство уже 13 мая 1945 года, всего через четыре дня после Победы.