Вернувшись в Швецию, Гульберг служил в контрразведке и десятью годами позже оказался одним из тех относительно молодых сотрудников Службы безопасности, которые под руководством оперативного руководителя Отто Даниэльссона арестовывали Веннерстрёма и сопровождали к месту пожизненного заключения.
Когда в 1964 году, при Пере Гуннаре Винге, тайную полицию реорганизовали в отдел безопасности Государственного полицейского управления, ГПУ/Без, началось расширение штатов. Гульберг к тому времени проработал в Службе безопасности четырнадцать лет и считался одним из пользующихся доверием ветеранов.
Гульберг ни при каких обстоятельствах не называл Службу государственной безопасности СЭПО. В формальной обстановке он использовал наименование ГПУ/Без, а в неформальной — только Без. Среди коллег он мог также упомянуть место своей работы как «Предприятие», или «Фирму», или попросту «Отдел», только не СЭПО. Причина была проста. На протяжении многих лет главной задачей «Фирмы» являлся так называемый персональный контроль, то есть проверка и регистрация шведских граждан, подозревавшихся в коммунистических убеждениях и склонности к измене. Понятия «коммунист» и «изменник родины» употреблялись в «Фирме» как синонимы. Ставшее впоследствии широко распространенным понятие «СЭПО» было создано потенциально предательским коммунистическим журналом «Кларте» как ругательное обозначение полицейских — гонителей коммунистов. Естественно, ни Гульберг, ни кто-либо другой из ветеранов слово «СЭПО» не использовал. Гульберг никак не мог понять, почему его бывший начальник П. Г. Винге назвал свои мемуары именно «Руководитель СЭПО 1962–1970 гг.».
Дальнейшую карьеру Гульберга определила именно реорганизация 1964 года.
Создание ГПУ/Без означало, что тайная полиция превращалась в нечто, в служебной записке министерства юстиции обозначенное как «современная полицейская организация». Последовало расширение штатов. Постоянная потребность в новых сотрудниках повлекла за собой бесконечные проблемы с их проверками, и резкое увеличение организации дало врагу более благоприятные возможности для внедрения своей агентуры. Это, в свою очередь, означало необходимость ужесточения внутреннего контроля — тайная полиция уже не могла больше оставаться неким внутренним клубом, состоявшим из отставных офицеров, где все друг друга знали и главным достоинством нового члена являлось наличие отца-офицера.
В 1963 году Гульберга перевели — вместо контрразведки он стал заниматься проверкой сотрудников, чему, после разоблачения Стига Веннерстрёма, придавалось особое значение. В этот период закладывалась основа контроля над взглядами населения, в результате чего к концу 60-х годов уже существовали досье примерно на триста тысяч шведских граждан с неподобающими политическими пристрастиями. Однако, помимо контроля за шведскими гражданами вообще, следовало работать над системой внутренней безопасности ГПУ/Без.