Между тем невзирая на бомбардировки, трудный военный быт, Москва жила и работала. Каждое утро переполненные трамваи и троллейбусы развозили тысячи москвичей по фабрикам и заводам, в классных комнатах школ, превращенных в госпитальные палаты, склонялись над ранеными врачи и сиделки, на пустырях вчерашние девятиклассники изучали трехлинейки и ползали по-пластунски. И совсем как до войны заполняли по вечерам театральные и концертные залы зрители, на экранах кинотеатров и клубов шли «Боевые киносборники» и довоенная комедия «Сердца четырех» с популярнейшими тогда актрисами Валентиной Серовой и Людмилой Целиковской.
В это же время в «Большом доме» на Лубянке проводилась серьезная реорганизация. Как уже было сказано ранее, два наркомата — НКВД и НКГБ снова были слиты. Наркомом объединенного НКВД стал Л.П. Берия, бывший нарком НКГБ B.H. Меркулов снова стал его первым заместителем.
Ведущими управлениями НКГБ были Первое — разведывательное и Второе контрразведывательное. Их возглавляли соответственно комиссар госбезопасности 3-го ранга Павел Михайлович Фитин и комиссар госбезопасности 3-го ранга Петр Васильевич Федотов. Их заместителями были соответственно старшие майоры госбезопасности Павел Анатольевич Судоплатов и Леонид Федорович Райхман. Оба управления, естественно, сохранили свои позиции и функции в составе воссоединенного НКВД.
С началом Великой Отечественной войны перед органами госбезопасности встали новые задачи. Для организации и руководства разведывательнодиверсионной работы за линией фронта, в тылу германской армии на оккупированной советской территории (а позднее и в захваченных Германией странах Восточной Европы) было сформировано специальное подразделение Особая группа при наркоме НКВД СССР. 5 июля 1941 года начальником группы был назначен «товарищ Андрей» — Павел Судоплатов, один из немногих руководителей высшего эшелона разведки, имеющий личный опыт закордонной работы с нелегальных позиций. Его первым заместителем стал один из виднейших советских разведчиков, много лет проработавший в качестве нелегала во многих странах Европы, Азии и Америки, майор госбезопасности Леонид (Наум) Александрович Эйтингон (в Испании в годы гражданской войны он был известен как «генерал Котов»).
Особая группа испытывала острый недостаток в квалифицированных кадрах, и Судоплатов добился у наркома Берии освобождения из заключения ряда крупных разведчиков и контрразведчиков, которых еще не успели расстрелять. Так, прямо из камер внутренней тюрьмы были извлечены и тут же получили назначения, даже не успев заехать домой, побриться и переодеться, опытнейшие разведчики Яков Серебрянский («Яша») и Петр Зубов. Из запаса были призваны многие, ранее уволенные из НКВД, но избежавшие репрессий профессионалы, в том числе капитаны госбезопасности Дмитрий Медведев («Тимофей») и Александр Лукин («Шура») — будущие прямые руководители Николая Кузнецова в тылу врага.