Разумеется, не все в судьбе маршала было таким уж безоблачным. Например, план ведения кампании с Финляндией, подготовленный Генеральным штабом и предполагавший использование в предстоящей войне не только войск Ленинградского военного округа, но и дополнительных резервов, подвергся резкой критике Сталина как переоценивающий возможности финской армии. Начавшаяся вскоре война с финнами показала, что Генеральный штаб был прав. С августа 1940 г. Шапошников стал заместителем наркома обороны СССР, передав должность начальника Генштаба генералу армии К. А. Мерецкову. На новом посту Шапошников курировал вопросы строительства укрепленных районов в 1940–1941 гг.
С началом войны по указанию Сталина из центрального аппарата Генерального штаба в помощь командующим фронтами была направлена группа ответственных работников, включая начальника Генерального штаба генерала армии Жукова, а также маршала Шапошникова. На второй день войны, 23 июня 1941 г., Шапошников был включен в состав организованного при Ставке Главного Командования института постоянных советников. С июля 1941 г. Шапошников — начальник штаба Западного направления, а 30 июля 1941 г. вновь назначен на пост начальника Генштаба РККА, став членом Ставки. Борис Михайлович Шапошников возглавлял Генеральный штаб Красной Армии в самый тяжелый период Великой Отечественной войны, с 29 июля 1941 г. по 11 мая 1942 г. Генштаб под его руководством становится центром оперативно-стратегического планирования, подлинным организатором военных действий армии и флота. Важнейшие вопросы стратегического планирования теперь предварительно обсуждаются в Ставке в узком кругу лиц — Сталин, Шапошников, Жуков, Василевский, адмирал Кузнецов.
«Основная тяжесть руководства Генштабом лежала на плечах Бориса Михайловича Шапошникова. Несмотря на тяжелую болезнь, он успевал выполнять всю необходимую работу в Генштабе и к тому же не малую роль играл в Ставке. Сердце сжималось всякий раз, когда мы видели своего начальника: он непривычно сутулился, покашливал, но никогда не жаловался. А его умение сохранять выдержку, обходительность просто поражали». - вспоминал генерал армии С. М. Штеменко.
Шапошников участвовал в разработке предложений Генштаба по осуществлению Смоленского оборонительного сражения (10 июля-10 сентября 1941 г.), контрнаступления под Москвой (декабрь 1941-январь 1942 г.), общего наступления Красной Армии (январь — апрель 1942 г.). Им же был предложен план стратегической обороны советских войск на весну-лето 1942 г., в который, к сожалению, были внесены изменения, касающиеся ряда наступательных операций, окончившихся неудачно. При непосредственном руководстве Шапошникова летом — осенью 1941 г. было оперативно осуществлено подтягивание резервов из глубины страны, уточнение боевого состава войск действующей армии после жестоких ударов врага.