С определением места строительства выяснилось, что большое количество домовладений попадает под снос. В конце 1866 года городской думой была создана комиссия по оценке стоимости определенных к сносу домовладений.
Председатель Харьковской губернской земской управы сообщает 18 марта 1867 года новому губернатору П. Дурново, что Харьковское земское собрание в заседании поручило губернской управе составить проект концессии на дорогу для представления его правительству.
В конце марта 1867 года губернская управа направляет в Санкт-Петербург депутацию в составе А. Матушинского и Г. Данилевского, членов Харьковской губернской управы, и Д. Замятина, предводителя дворянства Змиевского уезда. Депутация подготовила проект концессии на строительство дороги, в котором были отражены условия сбора капитала, состав правления, права земства.
Но ввиду большого накопления на иностранных биржах русских гарантированных бумаг было принято Высочайшее повеление о приостановлении концессий, пока не будут погашены облигации уже строящихся дорог.
Вопрос о строительстве Южной железной дороги остался открытым. И только в конце февраля 1868 года по повелению царя вновь выносится на рассмотрение проект строительства линии от Курска до Харькова.
В начале марта 1868 года на имя харьковского городского головы В. Шатунова поступила подписанная А. Матушинским и Г. Данилевским из Петербурга телеграмма такого содержания: «Наше ходатайство увенчалось успехом. Состоялось Высочайшее повеление о построении Курско — Харькове — Азовской железной дороги. Учредитель — Поляков. Работы предполагается начать одновременно по всему пути. Поздравляем город!»
Несколько дней спустя С. Поляков телеграфом сообщает: если город не уступит землю бесплатно, то станцию придется расположить за его чертой. Городской голова тут же отвечает: «Город Харьков просит назначить станцию на леваде под Холодной Горой. Он уступит свои земли под станцию и дорогу даром, а также примет на себя третью часть издержек на выкуп имений частных лиц».
На строительство отрезка Курско — Харьково — Азовской железной дороги (229 верст) часть денег была выделена казной, значительную сумму составили пожертвования. Работы начались 5 мая 1868 года на линии Белгород — Харьков. В октябре этого же года состоялась закладка первого харьковского вокзала на Тюремной (Архиерейской) леваде, которая представляла собой огромное болото, поросшее камышом.
Основной сложностью при строительстве оставался выкуп земли, по которой шла колея. Крестьяне нередко не хотели продавать землю, так как железнодорожная линия делила их наделы, и чтобы добраться от одной части к другой, приходилось делать большие объезды.