По должности Шебаршин был и заместителем председателя КГБ. Ему предоставили второй кабинет – на седьмом этаже главного здания на Лубянке, где до него сидели все начальники разведки, начиная с Фитина. Шебаршин приезжал в главное здание на заседания коллегии комитета или чтобы просто пообедать с руководством КГБ, узнать последние новости, почувствовать, чем живут его коллеги. За обедом Крючков бывал откровеннее, чем в кабинете.
Крючков продолжал пристально следить за делами в разведке, что не очень радовало Шебаршина. Даже став членом политбюро, Владимир Александрович жил на даче в разведгородке, и генералы из Первого главного управления не упускали случая за спиной Шебаршина доложить председателю, что происходит в разведке.
Время от времени Крючков давал Шебаршину поручения, выходящие за рамки обязанностей начальника разведки. Летом 1990 года Шебаршину пришлось отправиться в Краснодар с невыполнимой в ту пору задачей – помешать избранию бывшего генерала госбезопасности Олега Калугина народным депутатом СССР. Крючков своим приказом лишил Калугина генеральского звания и пенсии и тем самым обеспечил ему народную поддержку. Впрочем, через несколько лет Калугин уехал в Соединенные Штаты. Его обвинили в предательстве. В 2002 году суд в Москве заочно приговорил его к пятнадцати годам тюремного заключения…
Участия в августовском путче 1991 года Леонид Шебаршин не принимал. Председатель КГБ Владимир Крючков таланты своего заместителя по разведке ценил, но у него были люди и поближе – их он и втянул в путч. Возможно, тогда Шебаршину было неприятно, что он не в числе приближенных. Зато в августе 1991 года он не попал в тюремную камеру.
Шебаршин пишет, что летом 1991 года он предложил Крючкову пересмотреть отношение к Ельцину: Горбачев не сумеет удержать страну от распада, нравится нам Ельцин или нет, стоит ориентироваться на Ельцина и Россию:
– Уверен, что у нас нет иного пути.
Крючков не стал спорить с Шебаршиным, напротив, поддержал его предложение развивать контакты с новой Российской властью:
– Подумаем еще… Работайте, посылайте побольше информации Борису Николаевичу.
Главным любимцем Крючкова был генерал-полковник Виктор Федорович Грушко. Он был старше Шебаршина на пять лет. Как и Шебаршин, окончил московский государственный институт международных отношений и был распределен в МИД. Работал в Норвегии и в центральном аппарате министерства. Его тоже пригласили на работу в КГБ. В 1960 году Грушко приступил к занятиям в «школе № 101». Как знающего иностранный язык и имеющего опыт дипломатической работы, его через год отправили в Первое главное управление.