К концу 1938 г. он стал уже начальником штаба округа, а летом 1940 г. в период массовой ротации кадров центрального аппарата, предпринятой по итогам войны с Финляндией, получил назначение в Москву на должность начальника Оперативного управления Генерального штаба РККА. Реализовалась аттестация, еще в начале 30-х гг. данная Высшей аттестационной комиссией при Реввоенсовете СССР способностям начальника штаба 7-й стрелковой дивизии: «Считать целесообразным использовать Ватутина Н.Ф. в Генеральном штабе РККА».
Когда в 1940 г. были введены генеральские звания, Николай Федорович сразу стал генерал-лейтенантом. Год еще не завершился, как его вновь повысили в должности: он стал первым заместителем начальника Генштаба. Столь стремительный служебный рост носил в руководящих структурах РККА массовый характер и, нарушая естественный порядок «созревания» в соответствующей должности, очень часто оборачивался громадным ущербом. Достаточно сказать, что в течение предвоенного года последовательно сменились три начальника Генштаба — маршал Б.М. Шапошников, генералы армии К.А. Мерецков и Г.К. Жуков. Последним двум это не позволило даже основательно вжиться в обстановку руководимого им органа, а о возможности качественно решать проблемы стратегического планирования, подготовки Вооруженных Сил к войне и говорить нечего. Кадровая чехарда захватила и основной генератор идей Генерального штаба — Оперативное управление: за шесть предвоенных лет его возглавляли семь человек, в том числе — всего в течение полугода — Ватутин.
Отношение к сотрудникам Генштаба и особенно его верхушке, как к мелкой разменной монете в большой политической игре, привело к поистине ужасающим последствиям, исправлять которые пришлось в течение всей войны. В нем проявилось непонимание Сталиным роли и значения Генштаба как мозга армии, сохранявшееся некоторое время и после 22 июня 1941 г. По свидетельству маршала Г.К. Жукова, перед войной ни его предшественники, ни он сам не имели случая с исчерпывающей полнотой доложить Сталину о состоянии обороны страны, о военных возможностях страны и возможностях потенциального врага, вождь ограничивался лишь краткими докладами первых лиц Наркомата обороны.
Такое отношение высшего политического руководства страны к Генштабу ставило персонально Н.Ф. Ватутина, как одного из его руководителей, перед очень сложными проблемами. Чтобы справиться с ними, генералу пришлось мобилизовать все свои личные и деловые качества. По оценке Г.К. Жукова — его прямого начальника в тот период, Ватутин отличался исключительным трудолюбием и широтой оперативно-стратегического мышления.