В 1920 году он был взят на работу в отдел военной цензуры Ярославской ГубЧК. В 1921–1922 годах служил в Особом отделе Ярославского ГубЧК делопроизводителем, сотрудником по особым поручениям Особого отдела 18-й стрелковой дивизии. С 1922-го в запасе, работал в системе госстраха, потом на заводе в Ярославле.
С 1932 года — в органах ОГПУ. Служил практикантом, полковым уполномоченным, помощником начальника и начальником Особого отдела 18-й стрелковой дивизии.
С октября 1939-го — заместитель начальника, с ноября того же года начальник Особого отдела 3-го стрелкового корпуса МВО. В 1940 году — заместитель начальника Особого отдела 8-й армии ЛВО, участник советско-финской войны.
В июне 1940 года назначен заместителем начальника Особого отдела (3-го отдела) Прибалтийского военного округа.
Во время Великой Отечественной войны — замначальника Особого отдела Северо-Западного фронта, начальник Особого отдела Новгородской опергруппы Северо-Западного фронта, начальник Особого отдела 5-й армии Западного фронта и начальник Особого отдела НКВД — ОКР Смерш Черноморского флота.
С 1945 по 1949 год — начальник управления МГБ Приморского военного округа, с 1949-го — начальник управления МГБ Приморского края. С 17 сентября 1951 года по 1 апреля 1953-го — начальник управления МГБ СССР по Ленинградской области. В 1953–1956 годы — начальник Особого отдела МВД-КГБ по Западно-Сибирскому военному округу.
Начало Великой Отечественной войны Н. Д. Ермолаев встретил в составе войск Северо-Западного фронта (СЗФ), образованного 22 июня 1941 года на базе войск Прибалтийского Особого военного округа для действий на направлениях Куопио, Микеенли и Гельсингфорс. СЗФ просуществовал до ноября 1943 года, замыкаясь в первые дни войны на командование и штаб Ленинградского военного округа.
В первых сражениях 1941 года войска СЗФ противостояли наступлению немецко-фашистской группы армий «Север» и части сил группы армий «Центр». Николаю Дмитриевичу Ермолаеву в ранге заместителя начальника Особого отдела НКВД СЗФ приходилось вариться в самой гуще суровых событий, мотаясь по особым отделам армий и дивизий и руководя этими подразделениями непосредственно в сложной боевой обстановке. А она действительно была таковой. Отсеченная от главных сил фронта 8-я армия спешно отступала к границам Эстонии. 11-я и 27-я армии вели яростные бои с превосходящими силами противника, наступающими на Старую Руссу и Холм.
В своем докладе руководству Н. Д. Ермолаев отмечал, что части и подразделения фронта несут невосполнимые потери из-за превосходства вражеской авиации.