Мечтая об уничтожении большевизма, Петр Николаевич сразу же пошел на сотрудничество с немецким военным командованием. «Эмигрантские круги за границей, в том числе и лично я, – рассказывал он на суде, – встретили нападение гитлеровской Германии на Советский Союз довольно восторженно. Тогда господствовало среди нас мнение: хоть с чертом, но против большевиков…» Краснов явился «идейным отцом» борьбы всей белоказачьей массы против Советского Союза на стороне Германии. Он установил тесную связь с немецкой разведкой, деятельно участвовал в работе казачьего отдела министерства восточных областей Германии, возглавляемого Розенбергом. «Знаток казака и его души», Краснов консультировал сотрудников министерства и немецкую разведку по всем вопросам антисоветской деятельности среди казачества. Его доклад об истории казачества слушали сотрудники СД, а затем с ним знакомились высшие германские военные круги. По предложению германской разведки П. Краснов выпустил воззвание, в котором призывал казаков объединиться вместе с немцами и участвовать в вооруженной борьбе против Советского Союза.
После поражения немцев под Сталинградом и на Северном Кавказе Краснов подготовил особую грамоту (впоследствии она называлась «Декларация казачьего правительства») с обращением ко всем казакам. 10 ноября 1943 г. она была опубликована за подписью начальника штаба Верховного главнокомандующего генерала Кейтеля и министра восточных областей Германии Розенберга. В обращении указывалось, что за оказанную немецким войскам помощь во время войны германское правительство признает казаков своим союзником и обещает после победы над СССР возвратить им землю, личную собственность и былые привилегии, а на время войны устроить казаков на временное поселение на свободных землях, имеющихся в распоряжении немецких властей.
30 марта 1944 г. приказом командующего «союзными войсками» генерала Кестринга Краснов был назначен начальником управления казачьих войск (политический и административный орган Дона, Кубани и Терека). Управление существовало при министерстве Розенберга, а фактически им руководили начальник отдела этого министерства доктор Химпель и генерал Кестринг. Затем Краснов вошел в подчинение главного штаба СС – генерала Бергера. Ближайшим помощником Краснова – старшего по руководству главным управлением и «казачьим станом» был его племянник Семен Краснов, до этого служивший в «комитете по делам русской эмиграции» в Париже. До этого ему пришлось строить дороги и рубить лес, работать грузчиком и шофером такси, заниматься разведением кур.