Тяжелое ранение любимого военачальника и близкого друга Черняховский воспринял с болью в сердце. После нескольких операций Ватутин скончался 15 апреля 1944 года.
1 марта 1944 года в командование войсками 1-го Украинского фронта вступил маршал Жуков. Он, как и Ватутин, решил начать организацию взаимодействия с главного направления и поэтому первым вызвал в свой штаб Черняховского.
С большим волнением ехал к нему Иван Данилович. Прежние комфронта относились к нему очень по-доброму, а как сложатся отношения с новым командующим. Жуков был известен своей крутостью и требовательностью. Он встретил Черняховского официально, строго, без лишних слов коротко бросил:
— Докладывайте ваше решение.
Черняховский, стараясь быть спокойным и зная нетерпимость Жукова к многословию, коротко и четко изложил свое решение. И так же коротко маршал сказал:
— Ваше решение утверждаю.
И все же, при всей суровости, простые человеческие переживания были и у Жукова. Он так же коротко, вроде бы и не по делу, сдерживая свой командирский голос, молвил:
— Жаль Николая Федоровича. Я как предчувствовал беду, не советовал ему к вам ехать, послать кого-нибудь из заместителей. Но он настоял на своем…
С первых же дней под командованием Жукова удача сопутствовала Черняховскому. 4 марта в 8 часов утра ударная группировка фронта после артиллерийской подготовки перешла в наступление. 60-я армия с 4-м гвардейским танковым корпусом на направлении главного удара прорвала вражескую оборону в районе Ямполь, Корница и стала развивать наступление в общем направлении на Тернополь. Жуков немедленно в ее полосе ввел в сражение главные силы 3-й гвардейской и 4-й танковых армий, и они вбили клин между 1-й и 4-й армиями немцев.
Поздним вечером 5 марта радио Москвы сообщило:
ПРИКАЗ
ВЕРХОВНОГО ГЛАВНОКОМАНДУЮЩЕГО
Маршалу Советского Союза Жукову
Войска 1-го Украинского фронта под командованием Маршала Советского Союза Жукова, заменившего генерала армии Ватутина, вследствие болезни последнего, 4 марта, перейдя в наступление, прорвали сильную оборону немцев на фронте протяжением до 180 километров и за два дня наступательных боев продвинулись вперед от 25 до 50 километров.
В ходе наступательных боев наши войска разбили четыре танковые и восемь пехотных дивизий немцев и овладели городом и крупной железнодорожной станцией Изяславль, городами Шумск, Ямполь и Острополь, заняли свыше 500 других населенных пунктов, среди которых крупные населенные пункты Кантрынбург, Выжгрудек, Теофиполь, Базалия, Купель, Ляховцы, Белогородка, Антонины, Великие Мацевичи, Городище, и ведут бой на подступах к железнодорожной станции Волочиск.