Закордонная часть ИНО по положению была «организационным центром, сосредотачивающим все руководство и управление зарубежной работой разведывательного и контрразведывательного характера».
«За границей, — говорилось в положении об иностранном отделе, — в определенных пунктах по схеме, вырабатываемой Закордонной Частью ИНО ГПУ, имеют местопребывание уполномоченные, именующиеся резидентами».
В 1921 году появились легальные резидентуры в Афганистане и Турции, потом в Иране. В 1922-м — легальная резидентура в составе представительства РСФСР в Берлине.
В декабре 1921 года Трилиссера утвердили заместителем начальника иностранного отдела, а 13 марта следующего года он возглавил разведку. Меир Абрамович был спокойным и осторожным человеком, избегавшим поспешных шагов. В иностранном отделе его за глаза называли Стариком и Батькой.
При Трилиссере первое поколение советских разведчиков вполне профессионально освоило это ремесло. Они выработали принципы работы заграничных резидентур, приемы переброски за границу нелегалов, методы вербовки агентуры и способы поддержания связи со своими агентами. Переписку с нелегалами вели, используя симпатические чернила — фотографический гипосульфат, который легко было приготовить.
Трилиссера ценил Вячеслав Рудольфович Менжинский, который в роли заместителя председателя ГПУ-ОГПУ курировал внешнюю разведку. 30 июля 1926 года, через десять дней после смерти Дзержинского, Менжинский занял его место. Трилиссер получил должность заместителя председателя ОГПУ. Помимо иностранного отдела он курировал и пограничную охрану, занимался внутренним политическим сыском. Его позиции подкрепило избрание членом Центральной контрольной комиссии ВКП/б/.
Трилиссер в июле 1927 года вывел иностранный отдел из состава секретно-оперативного управления (им руководил восходящая звезда советской госбезопасности Генрих Григорьевич Ягода), и теперь разведка фактически подчинялась только Трилиссеру.
Менжинский и Трилиссер сделали советскую разведку, возможно, самой сильной в мире. Во-первых, в разведку пришли работать опытные люди, большевики, прошедшие школу подполья, конспирации, борьбы с царской полицией и тюрем. Во-вторых, первое поколение советских разведчиков состояло из людей, родившихся за границей или вынужденно проживших там много лет: они чувствовали себя за рубежом как дома или в прямом смысле дома.
И наконец, самое главное. До появления Советской России считалось, что разведка и контрразведка нужны только во время войны, а в мирное время их распускали, довольствуясь обычной полицией.