Оборона этого города решением Генерального штаба была возложена на штаб Харьковского военного округа. Начальником обороны был назначен генерал-майор Маршалков. Войска гарнизона включали 216-ю стрелковую дивизию, только что закончившую формирование 57-ю бригаду войск НКВД, полк народного ополчения, вооруженный исключительно винтовками, 2–3 саперных батальона. Кроме того, в составе этих сил имелось 14 слабоотремонтированных танков устаревших конструкций. Оборона города в инженерном отношении включала внешний обвод и систему внутренних заграждений. Внешний обвод проходил по окраинам города и имел протяженность около 72 километров. Внутри города были построены баррикады, а улицы и мосты – минированы.
Было решено оборонять город путем выдвижения войск вперед с тем, чтобы нанести максимальное поражение противнику на подступах к внешнему обводу. Но на практике эти бои практически никаких результатов не дали. Более того, выдвижение вперед привело к тому, что войска 216-й стрелковой дивизии и прочие не смогли освоиться на подготовленном рубеже внешнего обвода обороны. К тому же возникла путаница с управлением. Обороной Харькова пытались руководить два органа: штаб 38-й армии и штаб обороны города, что внесло большую путаницу и дезориентировало подчиненных командиров и штабы. В результате оборона на внешнем обводе не сложилась.
В период с 21 по 23 октября бои шли на городских улицах. В спешке советское командование отдало приказ о разрушении зданий, водопровода, электростанции и всех мостов. Этот приказ был выполнен, кроме подрыва центрального моста, который уцелел из-за повреждения шнура. 24 октября Харьков был оставлен советскими войсками.
Войска 12-й армии Южного фронта, не ощущая серьезного давления со стороны противника, к исходу 28 октября поспешно откатились на рубеж Артемовск, Горловка. Южнее этой армии под давлением противника отступали войска 18-й и 9-й армий.
Войска Юго-Западного фронта к концу октября отошли на рубеж Тим, Изюм, Красный Лиман и здесь организовали оборону. Войска Южного фронта к этому времени правым крылом закрепились на рубеже Красный Лиман, Дебальцево, а войска левого крыла (18-я и 9-я армии) под давлением противника к исходу 4 ноября отошли на линию Дебальцево, Красный Луч, Хопры.
Таким образом, в октябре 1941 года противнику удалось захватить почти всю Левобережную Украину, выйти на подступы к Ростову и занять юго-западную часть Донбасса.
В начале ноября 1941 года Ставка ВГК, оценив всю сложность обстановки на Украине, принимает новые организационные решения. Для координации действий Юго-Западного и Южного фронтов вновь учреждается должность главнокомандующего Юго-Западным стратегическим направлением. На этот раз на эту должность, вместо С.М. Буденного, назначается также ничем себя не проявивший С.К. Тимошенко. Но на этот раз не развертывается полевое управление этого стратегического направления, функции которого возлагаются на штаб Юго-Западного фронта, в результате чего должность главкома становится больше юридической, чем практической. Командующий и штаб Юго-Западного фронта были вынуждены постоянно заниматься управлением подчиненными им войсками, и до дел войск Южного фронта касались очень мало. Кроме того, в связи с расформированием Брянского фронта Юго-Западный фронт получил еще две армии (3-ю и 13-ю), в результате чего полоса его обороны значительно увеличилась в северном направлении, создав новые проблемы управления.