Во Франции первое время он работал посудомойщиком в одном из марсельских ресторанов, а потом перебрался в Париж, к другу детства Альтеру Штрому, который свел его с представителями компартии Франции. Вскоре Треппера назначают представителем еврейской секции при ЦК ФКП, и он вновь включился в партийную работу. В конце 1930 г. Треппер женился на Любе Бройде, с которой познакомился еще в Палестине, а 3 апреля у них родился сын Мишель. Однако Л. Трепперу вскоре пришлось срочно покинуть Францию. Дело в том, что в июне 1932 г. его приятель Альтер Штром был арестован французской полицией. Оказалось, что он являлся помощником нелегального резидента Разведупра во Франции Исайи Бира, контролировавшего сеть так называемых рабкоров газеты «Юманите» и прозванного французской полицией за свою неуловимость Фантомасом. Арест Штрома и И. Бира мог стать угрозой для свободы Л. Треппера и дать властям повод для начала компании против еврейских иммигрантов. Поэтому руководство компартии по согласованию с Коминтерном отправило Л. Треппера в Москву.
В Москве Л. Треппер поступает в Коммунистический университет национальных меньшинств Запада им. Ю. Ю. Мархлевского. По окончании его в 1935 г. он начинает работать редактором отдела культуры в газете «Эмес», издававшейся для евреев, проживающих в СССР. В 1936 г. в Москву возвратился отбывший свой срок во французской тюрьме А. Штром и поставил перед руководством Разведупра вопрос о невиновности журналиста «Юманите» Рикье, которого обвиняли в провале Бира. По рекомендации Штрома начальник Разведупра Я. Берзин направляет Треппера во Францию с целью установить имя настоящего предателя и добыть доказательства непричастности ФКП к работе военной разведки. В декабре 1936 г. Л. Треппер нелегально выезжает во Францию, где успешно справляется с заданием. Он установил, что провал произошел по вине нелегала Разведупра Роберта Гордона Свитца, до 1932 г. работавшего в США и перевербованного там ФБР. Прибыв по приказу Разведупра во Францию, Р. Свитц выдал полиции И. Бира, а сам при помощи военного атташе США скрылся.
После возвращения в Москву в мае 1937 г. начальник Разведупра Я. Берзин предложил Л. Трепперу стать сотрудником военной разведки. Треппер ответил согласием, и уже в июле 1937 г. его посылают в Бельгию для организации работы по добыванию паспортов, необходимых для легализации в зарубежных странах. В Брюсселе Треппер привлек к работе Лео Гроссфогеля, с которым познакомился в Палестине. Гроссфогель родился в 1901 г. в Страсбурге. После возвращения Франции Эльзаса и Лотарингии он принял французское гражданство, но в 1925 г., не желая служить в армии, уехал в Палестину, а затем в Бельгию. Там он вместе с членами своей семьи основал фирму «Король каучука» и стал ее коммерческим директором. Через Л. Гроссфогеля, получившего псевдоним Андре, Л. Треппер связался с крупным дельцом по скупке и продаже документов Абрахамом Райхманом (Фабрикант) и договорился с ним о постоянной работе по добыванию паспортов для советской разведки.