Вооружение «Харькова» тоже было почти крейсерское: 5 — 130-мм орудий главного калибра, 2 — 76,2-мм и 4 — 37-мм зенитных орудия, 6 — 7,62-мм пулеметов, 2 — 4-трубных 533-мм торпедных аппарата, 2 бомбосбрасывателя глубинных бомб. Помимо этого, корабль мог принять на борт и обеспечить постановку 76 мин. Штатный экипаж «Харькова» составлял 344 человека.
Первым командиром «Харькова» был Марков Филипп Савельевич, человек непростой судьбы. В 1937 году, будучи капитаном 2-го ранга и старпомом командира крейсера «Коминтерн», он был репрессирован. Проведя в застенках НКВД почти год, Марков так и не признал своей вины. В 1938 году, после освобождения, он был сразу назначен командиром лидера эсминцев «Харьков», спустя год стал командиром крейсера «Коминтерн», затем командовал бригадой крейсеров ЧФ, был начальником штаба эскадры кораблей ЧФ, стал контр-адмиралом и умер в 1956 году.
Следующим командиром «Харькова» был капитан 3-го ранга Пантелеймон Александрович Мельников, которого с ноября 1942 года сменил капитан 3-го ранга Петр Ильич Шевченко. Первым военным комиссаром лидера был Г.И. Фомин, затем батальонный комиссар Е.Ф. Алексеенко. С сентября 1943 года заместителем командира по политчасти «Харькова» являлся капитан 3-го ранга Иван Архипович Крикун.
С первых дней войны «Харьков» самым активным образом участвовал в боевых действиях. Так, уже 23—25 июня 1941 года лидер принял участие в постановке оборонительных заграждений у Севастополя.
26 июня совместно с лидером «Москва» нанес артиллерийский удар по главной базе фашистского флота на Черном море — румынскому порту Констанца. Это была первая набеговая операция Черноморского флота. В 20 часов 15 минут 25 июня ударная группа кораблей ЧФ («Харьков» и «Москва») вышла из Севастополя. Отряд поддержки (крейсер «Ворошилов», эсминцы «Сообразительный» и «Смышленый») вышел в 20 часов 40 минут. Общее руководство операцией осуществлял командир отряда легких сил контр-адмирал Т.А. Новиков. Ударной группой командовал командир 3-го дивизиона эсминцев капитан 2-го ранга М.Ф. Романов (флаг на лидере «Харьков»). Переход в район боевых действий был осуществлен без помех.
26 июня в 4 часа 42 минуты ударная группа с поставленными параванами подошла к кромке минного заграждения и уменьшила скорость до 20 узлов. Через несколько минут в правом параване шедшего головным флагманского лидера «Харьков» взорвалась мина. «Харьков» дал малый ход, и в голову вышел лидер «Москва». В 5 часов 02 минуты лидеры вышли в точку начала стрельбы и открыли огонь из орудий главного калибра. Уже после первых залпов на берегу взметнулось пламя большого пожара в районе нефтяных баков. Через несколько минут после начала стрельбы по лидерам открыла огонь крупнокалиберная береговая батарея, о которой на кораблях сведений не имели, а чуть позже — два вражеских эсминца, которые находились на рейде и не были вовремя обнаружены. В 5 часов 06 минут лидеры были накрыты артиллерийским залпом. Несмотря на близкие разрывы снарядов, лидеры продолжали выполнять задачу. Только выпустив предусмотренное количество снарядов, в 5 часов 12 минут командир ударной группы дал приказание прекратить огонь и начать отход. «Харьков» начал отходить с постановкой дымовой завесы. Для снижения эффективности стрельбы врага лидеры увеличили ход до 30 узлов и перешли на движение противоартиллерийским зигзагом. По всей вероятности, маневрируя на такой скорости, лидер «Москва» потерял оба паравана. В 5 часов 20 минут он подорвался на мине, разломился в районе первого котельного отделения и стал быстро тонуть. Появившиеся в это время над кораблями вражеские самолеты расстреливали из пулеметов плавающих на воде людей. Попытка «Харькова» оказать помощь погибающему кораблю не увенчалась успехом — он был сам накрыт огнем батареи и атакован самолетами врага. От близких разрывов бомб и снарядов корабль получил сильные сотрясения корпуса. Потекли водогрейные трубки в котлах, стало падать давление пара, ход снизился до 6 узлов. Корабль оказался перед угрозой стать неподвижной мишенью для врага. Нужно было, не охлаждая котлов, влезть в топку и ликвидировать повреждения. Котельный машинист Петр Гребенников не колебался ни минуты. Товарищи принесли ему асбестовый костюм, густо смазали лицо вазелином. Но все это мало помогало в дышащей жаром топке. Сухой, горячий воздух обжигал легкие. Однако Гребенников упорно искал повреждения, пока его не вытащили из топки почти без сознания. Облившись водой, он вновь полез в котел. Лишь с третьей попытки Гребенникову удалось заглушить лопнувшие трубки. Следуя примеру своего товарища, краснофлотец Петр Каиров устранил повреждения в другом котле. Корабль получил возможность увеличить ход до 12 узлов.