Рапорт был удовлетворен. В конце сентября 1923 года Павел Судоплатов вернулся домой.
Как нам представляется, причиной возвращения Судоплатова домой явилась не только усталость от продолжавшихся третий год беспрерывных боевых действий, в которых ему пришлось принимать непосредственное участие, тоска по семье и родному городу, но и то обстоятельство, что в Украинском ГПУ, как и по всей стране, началось сокращение чекистского аппарата и резкое уменьшение его бюджета.
По возвращении домой Судоплатов находился в основном на комсомольской работе. Таким образом, его чекистский стаж был прерван на полтора года. Первоначально он трудился в аппарате Мелитопольского окружкома ЛКСМУ, являясь заведующим информационным отделом окружкома и членом его правления. Затем был назначен комендантом клуба рабочей молодежи. В 1924 году Павла избрали секретарем сельской ячейки ЛКСМУ в селе Ново-Григорьевка Генического района Запорожской области. В начале 1925 года — секретарем ячейки ЛКСМУ завода имени Воровского в Мелитополе. Одновременно он был учеником слесаря на этом же заводе.
В феврале 1925 года окружком ЛКСМУ направил Судоплатова снова на работу в органы ОГПУ. В течение последующих полутора лет пребывания в Мелитополе он являлся младшим оперативным сотрудником учетно-статистического отделения окружного отдела ГПУ и отвечал за работу осведомителей, действовавших в греческом, болгарском и немецком поселениях. Судоплатов работал инициативно и продуктивно, оперативные сведения, получаемые им в ходе встреч с осведомителями, всегда представляли интерес для руководства окружного отдела ГПУ. За активную и продуктивную работу Судоплатов был награжден серебряными часами.
В 1927 году Павел Судоплатов получил повышение по службе и был переведен в Харьков, являвшийся в 1917–1934 годах столицей советской Украины, где стал работать уполномоченным Информационно-осведомительного отдела (ИНФО) ГПУ УССР. Там же окончил два курса рабфака.
В Харькове Судоплатов встретился со своей будущей женой Эммой Карловной Кагановой (в девичестве — Суламифь Соломоновна Кримкер), также служившей в органах государственной безопасности. Павлу было 20 лет, ей на два года больше. В свое время она приехала на Украину из белорусского города Гомеля.
Рассказывая о своей жене, Павел Анатольевич писал в своих мемуарах: «Эмма была способной, и ей удалось поступить в гимназию, где для евреев существовала ограничительная норма. Она окончила несколько классов гимназии и позднее стала работать секретарем-машинисткой у Менделя Хатаевича, секретаря гомельской губернской организации большевиков. Когда ее начальника перевели в Одессу, где он возглавил партийную организацию города, она последовала за ним. Именно в Одессе Эмма и перешла в местное ГПУ. Ей поручили вести работу среди проживавших в городе немецких колонистов. Голубоглазая блондинка, она говорила на близком к немецкому идише и вполне могла сойти за немку.