Однако на начальном этапе деятельности Иностранного отдела ВЧК работа молодой советской разведки строилась исключительно с «легальных» позиций. Вместе с тем Советская Россия в тот период имела дипломатические отношения с минимальным количеством зарубежных стран, к тому же враждебно настроенных к ней. Поэтому «легальные» резидентуры ИНО были не в состоянии решать все стоящие перед ними задачи. Следует также иметь в виду, что белогвардейская вооруженная эмиграция вынашивала планы организации совместно со странами Антанты нового «крестового похода» против Республики Советов. В этой связи политическое руководство страны крайне нуждалось в достоверной информации и относительно деятельности белой эмиграции.
Выявлять истинные планы и намерения правящих кругов тех стран, с которыми не поддерживались дипломатические отношения, можно было только сочетая «легальные» и нелегальные методы работы. Поэтому в июне 1922 года по предложению Дзержинского Политбюро ЦК РКП(б) приняло решение о создании нелегальной разведки.
Стоит, однако, отметить, что в ту пору деление разведки на «легальную» и нелегальную было довольно условным. Сотрудники «легальной» резидентуры после окончания служебной командировки за рубежом могли направляться за кордон по линии нелегальной разведки и наоборот. Об этом, в частности, свидетельствует оперативные биографии знаменитых разведчиков Федора Карина, супругов Василия и Елизаветы Зарубиных, Александра Короткова, возглавлявшего в конце 1950-х годов нелегальную разведку, и других.
На этот вопрос отвечает в своих воспоминаниях «Разведка: лица и личности» бывший Первый заместитель начальника внешней разведки, в течение ряда лет возглавлявший ее нелегальное подразделение, генерал-лейтенант Вадим Кирпиченко:
«Прежде всего потому, что за официальными российскими представителями всегда может следовать «хвост», видимый или совершенно невидимый (с учетом развития технических средств), а за нелегалом, если он сам не совершит какой-либо ошибки, не ведется наблюдение. Географическое пространство для граждан России за рубежом ограничено всевозможными зонами, а разведчик-нелегал может передвигаться свободно. С рядом государств наша страна не имеет дипломатических отношений, а по делам разведки там иногда необходимо бывать».
Следует отметить, что деятельность разведчиков-нелегалов всегда была окружена плотной завесой секретности. Это, разумеется, не случайно, ибо нелегальная разведка — это святая святых всей разведывательной деятельности, и на работу в нее подбирают людей, обладающих особыми качествами. Подготовить настоящего разведчика-нелегала, снабдить его надежными документами и вывести за рубеж для выполнения специальных задач является делом исключительно трудным.