Затем, уже в Москве, началась чекистская работа под руководством Феликса Эдмундовича. Общение с «Железным Феликсом» много дало Берзину. Все, кто хоть раз встречался с Дзержинским, испытывали на себе силу его обаяния, получали эмоциональный заряд на всю жизнь. Ян Карлович учился у Дзержинского умению подчинять своей воле обстоятельства, как бы сложны и запутаны они ни были. Работа чекиста — сложное, тонкое искусство. Оно не обходится без психологического расчета. Иногда важнее победить противника не силой, а в психологическом поединке. Дзержинский дал образцы такого подхода к вопросу. Теперь Ян Карлович учился психологическому анализу применительно к отдельной личности, и это вскоре ему пригодилось.
Именно Дзержинский выдвинул Яна Карловича Берзина в апреле 1921 года на работу в советскую военную разведку.
Берзин принял сложное, тонкое хозяйство, требующее совершенных знаний в области международной политики, международных отношений. Знания не падают готовыми с неба: Ян Карлович усиленно посещает Пролетарский университет и Социалистическую академию общественных наук. Через три года он стал во главе советской военной разведки.
Ян Карлович никогда не замыкался в кругу своих служебных обязанностей, как бы сложны они ни были. Он знал: коммунист, оторвавшийся от масс, утрачивает качества коммуниста, превращается в обывателя. Большая политическая активность была ему присуща с самого начала революционной работы. Он никогда не чувствовал себя кустарем-одиночкой, этаким «специалистом-всезнайкой».
Однажды на вопрос: «Успевает ли товарищ Берзин при той громадной работе, которую он ведет, повышать свой политический уровень?» он ответил так:
«Сама работа, которую я исполняю, заставляет повышать свой политический уровень. Что же касается международной обстановки, то могу заявить: разбираюсь в ней, поскольку это вопросы нашей непосредственной работы. Не чувствую себя оторванным и от внутреннего социалистического строительства, поскольку через мою партийную работу я связан с массами. Будучи членом РКК часто выезжаю на предприятия».
Особенно любил он бывать у металлистов, так как всегда в душе считал себя рабочим-металлистом и всегда помнил, что с 1909 по 1917 год состоял в профсоюзе металлистов. Во всех анкетах он так и писал: «Металлист-профессионал». Он гордился своей принадлежностью к рабочему классу — это было то горнило, где он закалился.
Его связь с Дзержинским была прочной и продолжалась до самой смерти «Железного Феликса».
Берзин стоял у гроба своего друга и учителя, а рядом с Яном Карловичем в таком же скорбном молчании стоял тридцатилетний ученый-социолог Рихард Зорге, которому суждено было прославить профессию советского военного разведчика на весь мир…