Первые дни войны убедительно показали, что Генштаб распыляет свои усилия на множество различных вопросов. Это не позволяло сосредоточить внимание на оперативной работе по руководству Вооруженными Силами в крайне напряженной обстановке. Потребовалось срочно изменить организационную структуру, передать ряд функций другим управлениям НКО, уточнить обязанности должностных лиц, а также задачи управлений и отделов.
В соответствии с Постановлением НКО № 300 от 28 июля 1941 года из Генштаба были переданы следующие управления: организационное, мобилизационное, укомплектования и устройства войск, устройства тыла и снабжения войск. Вместо отделов, ведающих округами, были созданы направления (кроме внутренних округов), возникли спецотделы авиации, ПВО, связи, оперативных перевозок и другие.
10 августа 1941 года И. В. Сталин утвердил новое Положение о Генеральном штабе. По нему начальник Генштаба объединял деятельность всех управлений НКО с правом давать им указания и распоряжения. Он получил также право отдавать распоряжения в войска от имени Ставки ВГК или по ее поручению.
Постановлением Президиума Верховного Совета СССР, СНК и ЦК ВКП(б) от 8 августа 1941 года было определено, что все приказы Ставки ВГК должны иметь подписи Верховного Главнокомандующего и начальника Генштаба. Именно с этого момента Генштаб стал ее настоящим рабочим органом.
Имея опыт работы начальника оперативного управления полевого штаба РВСР в годы гражданской войны, Б. М. Шапошников сумел наладить работу Генштаба в военных условиях. Перестройка длилась не один месяц, практически захватив вторую половину 1941 и первую половину 1942 года. Проблема, однако, состояла в том, что подобную перестройку нужно было провести еще до войны. В бытность А. И. Егорова на посту начальника Генштаба им неоднократно ставился вопрос о необходимости внесения изменений в структуру ГШ, в результате которых можно было бы без проволочек и хлопот в случае нужды быстро перейти на военное положение. Разработка Положения о службе Генерального штаба должна была завершиться еще к 1 июня 1936 года (Постановление ЦИК и СНК от 10 апреля 1936 года). Тогда, в связи со сложностью и важностью вопроса, военные запросили дополнительное время для его доработки. Члены Политбюро и правительства И. В. Сталин, В. М. Молотов, Г. Орджоникидзе и В. Межлаук удовлетворили их просьбу.
В феврале 1937 года проект Положения был доложен Начальником Генерального штаба А. И. Егоровым Наркому обороны К. Е. Ворошилову. Нарком его одобрил. После этого, в мае, он был направлен на утверждение Комиссии обороны, возглавляемой В. М. Молотовым, однако в обстановке «охоты на ведьм» принят, разумеется, не был.