После того как все это вскрылось, Абакумова перевели из экономического отдела и назначили оперативным уполномоченным 3-го отделения отдела охраны Главного управления лагерей НКВД. На этой незавидной должности он просидел три года. В декабре 1936 года получил специальное звание младшего лейтенанта госбезопасности.
В 1937 году его перевели в 4-й (секретно-политический) отдел Главного управления госбезопасности НКВД, а на следующий год определили во 2-й (оперативный) отдел, занимавшийся обысками, арестами, наружным наблюдением и установкой подслушивающей техники. Физически очень крепкий Абакумов идеально подходил для такой грубой работы.
Через несколько дней после утверждения Берии наркомом внутренних дел и начавшейся чистки аппарата Абакумов получил первое самостоятельное назначение. 5 декабря 1938 года он поехал начальником управления НКВД в Ростов.
В те годы начальники областных управлений, с головокружительной быстротой взлетавшие вверх по служебной лестнице, делали свою карьеру с помощью больших кулаков и бесконечного цинизма. То и другое у Абакумова было.
Он просидел в Ростове два с лишним года и сумел произвести наверху самое выгодное впечатление. Он получил знак «Почетный работник ВЧК-ОГПУ» в 1938 году и орден Красного Знамени в 1940-м.
3 февраля 1941 года НКВД поделили на два наркомата — внутренних дел и госбезопасности — в связи с чем понадобилось вдвое больше высших чиновников. Берия вызвал Абакумова в Москву, и 25 февраля он был назначен заместителем наркома внутренних дел вместе с другим будущим министром — Сергеем Никифоровичем Кругловым.
Со временем они сами возглавят органы: Абакумов — Министерство госбезопасности, Круглов — внутренних дел…
После начала войны, 19 июля 1941 года, Сталин поставил Абакумова во главе Управления особых отделов НКВД СССР — военной контрразведки.
19 апреля 1943 года особые отделы из НКВД забрали, и на их основе были созданы Главное управление контрразведки (ГУКР) Смерш Наркомата обороны и Управление контрразведки Смерш Наркомата военно-морского флота.
Начальником ГУКР Смерш был назначен Абакумов. По должности он стал заместителем наркома обороны и подчинялся напрямую самому Сталину. Впрочем, через месяц, 25 мая, он перестал быть заместителем наркома, но подчинялся все равно только Верховному главнокомандующему.
Абакумов получил в войну два ордена Суворова — I и II степени (один — за участие в депортации целых народов с Северного Кавказа в 1944-м), орден Кутузова I степени, ордена Красной Звезды и Красного Знамени. 9 июля 1945 года он был произведен в генерал-полковники. Еще через год назначен министром госбезопасности — вместо бывшего помощника Берии Всеволода Николаевича Меркулова.