Начинал с должности помощника и переводчика посла, которым был известный дипломат и будущий заместитель министра иностранных дел Михаил Степанович Капица. Под его крылом Шебаршин быстро получил повышение — атташе, третий секретарь. Осенью 1962 года он вернулся в Москву, стал работать в центральном аппарате МИД — референтом в Отделе Юго-Восточной Азии. И почти сразу подающего надежды дипломата пригласили в КГБ. Он принял это предложение с удовольствием.
«В комитете госбезопасности, — писал Шебаршин, — к Первому Главному управлению издавна сложилось особое, уважительное, но с оттенком холодности и зависти отношение. Сотрудники службы во многом были лучше подготовлены, чем остальной личный состав комитета. Они работали за рубежом и, следовательно, были лучше обеспечены материально. Им не приходилось заниматься «грязной работой», то есть бороться с внутренними подрывными элементами, круг которых никогда радикально не сужался.
Попасть на службу в ПГУ было предметом затаенных или открытых мечтаний большинства молодых сотрудников госбезопасности, но лишь немногие удостаивались этой чести. Разведка была организацией, закрытой не только для общества, но и в значительной степени для КГБ».
Леонид Шебаршин прошел курс подготовки в 101-й разведывательной школе, получил квартиру и в декабре 1964 года вновь отправился в Пакистан, теперь уже в роли помощника резидента внешней разведки. Третья командировка в Пакистан была бы приятнее, если бы не роковая слабость нового начальника.
«Резидент питал неодолимую тягу к спиртному, — вспоминал Шебаршин, — пил в любое время суток, быстро хмелел и во хмелю нес околесицу, густо пересыпанную матом… Дело кончилось тем, что резидент однажды свалился на приеме. Долго терпевший посол не выдержал и информировал Москву о хроническом недуге резидента».
Резидента отозвали.
После возвращения из командировки, летом 1968 года, Шебаршин прошел годичные курсы усовершенствования и подготовки руководящего состава Первого Главного управления КГБ — на факультете усовершенствования Краснознаменного института, что было необходимо для служебного роста. Программа повторяла учебный курс разведывательной школы, но с учетом, что в аудитории сидели профессионалы с немалым опытом. Оперативные офицеры уже состоялись как разведчики и чувствовали себя уверенно. Это была не столько учеба, сколько передышка.
Два года Шебаршин провел в центральном аппарате, и его отправили заместителем резидента в Индию — главный форпост советской разведки на Востоке. Шебаршин руководил линией политической разведки. В Дели была огромная резидентура, на которую не жалели денег, потому что в Индии можно делать то, что непозволительно в любой другой стране. Резидентом был Яков Прокофьевич Медяник, сыгравший большую роль в судьбе двух будущих начальников разведки — Шебаршина и Трубникова.