Жизнь у Ивана началась тяжело. Семья была бедная и нуждалась. Особенно когда началась Первая мировая война и отца мобилизовали, отправили на фронт. В 1915 году он был ранен, вернулся домой. В годы гражданской войны родители умерли от тифа. Иван рано начал работать.
Первая учительница Ивана вспоминала: «После смерти родителей Ваня вынужден был уйти из школы и стать пастухом».
Черняховский некоторое время беспризорничал, затем стал разнорабочим, подмастерьем.
В мае 1920 года Иван с помощью родственников Цешковского (он был товарищем отца и приютил троих детей) устроился железнодорожным рабочим. Работал подручным слесаря. Заинтересовался политической жизнью. Под влиянием Ивана Цешковского, который являлся председателем сельской комсомольской ячейки, постоянно посещал собрания и сходки, участвовал в дискуссиях на различные политические темы.
Весной 1922 г. экстерном сдал экзамены за курс неполной средней школы, был избран секретарём Вербовской комсомольской ячейки.
Одновременно Иван Данилович рано ощутил воинское призвание. Целью его жизни была военная служба. Его комсомольская ячейка была подразделением Тульчинского батальона частей особого назначения (ЧОН).
Вербовский «взвод» Вапнярской роты ЧОН, командиром которого был Черняховский, получил несколько винтовок и наганов, гранаты и ящик патронов. Уже тогда Черняховский принял участие в разгроме банд Маруськи в Крижопольских лесах и Зеленого в Томашпольских.
В 1923 г. взвод Черняховского ликвидировал в районе Крижополя банду батьки Кныша. За умелую организацию действий отряда и личное мужество Иван Черняховский был отмечен личным боевым оружием — маузером. Это была его первая награда.
Иван переехал в Новороссийск для дальнейшей учёбы и работы. С мая 1923 по сентябрь 1924 года он работает на Новороссийском 1-м государственном цементном заводе «Пролетарий».
Парень сразу проявил себя и был избран в секретари сначала цехового, а затем и заводского комсомольского бюро. Одновременно Черняховский закончил шофёрские курсы и стал работать шофёром.
В сентябре 1924 г. Новороссийский окружной комитет комсомола направил Ивана в Одесскую пехотную школу. Иван учился на отлично. Стал победителем в ряде дисциплин, включая стрельбу. Его даже наградили премией за отличные результаты в различных видах боевой подготовки. В роте, где он учился, его избрали руководителем комсомольцев.
Поэтому, когда Черняховский подал рапорт о переводе в Киевскую артиллерийскую школу, способного и усердного курсанта даже не хотели отпускать.
Начальнику школы позвонили: «Отпустить».