В августе 1934 года Грейфе сдал государственный экзамен на чин асессора, а в конце 1935 года был переведен в гестапо на должность начальника отделения тайной государственной полиции в Киле. За отличные показатели он был поощрен лично Гейдрихом и в октябре 1937 года повышен в должности до начальника отделения гестапо и СД в Тильзите (ныне – г. Советск Калининградской области).
Грейфе удалось наладить тесные контакты с представителями литовской разведки, а после присоединения Литвы к СССР – с антикоммунистическим подпольем и создать разветвленную агентурную сеть. Несмотря на это, непосредственный руководитель Грейфе – инспектор полиции безопасности и СД в Кёнигсберге бригаденфюрер СС Якоб Шпорренберг, давая письменную характеристику своему подчиненному, высказал сомнения в отношении его «безусловной верности идеям национал-социализма», хотя и признал его «неоспоримые профессиональные заслуги». Впрочем, многие коллеги Грейфе по РСХА характеризовались примерно в аналогичных выражениях. Испытанным «лекарством» от недостатка лояльности было назначение «оппозиционеров из СС» в состав печально известных оперативных групп СС, «прославившихся» беспощадным уничтожением еврейского населения. Поэтому и Грейфе после начала Второй мировой войны был назначен командиром 1-й айнзатцкоманды V айнзатцгруппы, действовавшей на территории Польши. После этой «проверки на лояльность», а также с учетом богатого опыта и блестящего образования – Грейфе свободно владел русским языком, говорил по-английски и по-французски, изучил литовский язык – он был переведен в центральный аппарат РСХА и 1 апреля 1941 года был назначен начальником группы VI С, которая курировала работу закордонной разведки в СССР. Но еще накануне войны именно Грейфе предложил активно использовать в разведывательно-диверсионных целях русских из числа эмигрантов. А уже во время войны с Советским Союзом разработал план, который предусматривал создание специального разведывательно-диверсионного органа под условным наименованием «Предприятие Цеппелин».
При этом зондеркоманды «Цеппелина» должны были также взаимодействовать с фронтовыми абверкомандами и абвергруппами. По сути, операция «Цеппелин» предусматривала организацию массовой заброски агентуры с разведывательными, диверсионными, пропагандистскими и организационно-повстанческими заданиями для инспирирования вооруженных антисоветских выступлений. В плане РСХА прямо указывалось: «Нельзя ограничиваться десятками групп для разложенческой деятельности, они для советского колосса являются только булавочными уколами. Нужно забрасывать тысячи». И только один абвер в операции «Цеппелин» подготовил и отправил за линию фронта в 1942 году около 20 тысяч агентов (вдвое больше, чем в 1941 году). За первые шесть месяцев 1943 года число их по сравнению с предшествовавшим годом возросло тоже почти вдвое.