По отзывам сотрудников «СМЕРШ», был знающим энергичным начальником, внимательным к подчиненным. Под его руководством органы «СМЕРШ» фронтов из сугубо контрразведывательных органов превратились в мощную разведывательно-контрразведывательную службу, занимающуюся не только розыском вражеской агентуры, но и агентурной разведкой во фронтовом тылу противника.
К концу Великой Отечественной войны был награжден орденами Красного Знамени, Суворова 1-й и 2-й степени, Кутузова 1-й степени, Красной Звезды, медалями за оборону Москвы, Сталинграда, Кавказа.
С сентября 1945 г. Абакумов входил в состав комиссии по руководству подготовкой обвинительных материалов и работой советских представителей в Международном военном трибунале. В начале 1946 г. им было инспирировано т. н. «дело авиаторов». Были арестованы Главный маршал авиации А.А. Новиков, нарком авиапромышленности СССР А.И. Шахурин и другие по обвинению в «злоупотреблении и превышении власти при особо отягчающих обстоятельствах», «выпуске нестандартной, недоброкачественной и некомплектной продукции».
В мае 1946 г. Абакумов был назначен министром госбезопасности СССР. Назначение было произведено в пику Берии, которого Сталин начал подозревать в нелояльности. Став министром, Абакумов дал понять Берии, что будет выполнять только указания Сталина, начал заменять ставленников Берии в МГБ СССР выходцами из ГУКР «СМЕРШ». По прямому указанию Сталина инициировал т. н. «мингрельское дело», непосредственно затрагивающее Берию.
В мае 1951 г. старший следователь по особо важным делам МГБ СССР подполковник М. Рюмин написал на имя И.В. Сталина письмо, в котором обвинял Абакумова в покрывательстве еврейских буржуазных националистов, якобы «готовящих террористические акты» против членов Политбюро и лично И.В. Сталина. Рюмин также обвинял Абакумова в бытовом разложении — присвоении трофейного имущества и квартирных махинациях. 4 июля Абакумов был снят с должности, 12 июля арестован. Был заключен в тюрьму «Матросская Тишина» МВД СССР, затем переведен в Лефортово и осенью 1952 г. в Бутырскую тюрьму. На допросах категорически отрицал обвинения. Но факты о бытовом разложении подтвердились. При обыске на квартире и госдаче были обнаружены значительные материальные ценности — ткани, столовое серебро, много мужских и женских наручных часов и др. Нашло подтверждение и обвинение в квартирных махинациях. Но главное — он обвинялся в сокрытии террористических замыслов в деле молодежной организации «Союз борьбы за дело революции», по которому были арестованы студенты МОПИ.