В апреле 1987 года ушел на пенсию по возрасту генерал-майор Яков Прокофьевич Медяник. Тогда Крючков сделал Шебаршина своим заместителем, отвечающим за работу на Ближнем и Среднем Востоке, а также в Африке. Так Шебаршин вошел в состав высшего руководства первого главного управления и переселился в дачный поселок разведки, что было одной из самых приятных привилегий его нового положения. На работу и с работы он отныне ходил пешком — несколько минут прогулки по лесу.
1 октября 1988 года Крючков ушел из разведки на повышение, став председателем КГБ. Вопрос о его преемнике решался долго. Несколько месяцев обязанности руководителя Первого Главного управления исполнял Вадим Алексеевичем Кирпиченко. В иной ситуации он бы и возглавил разведку. Но генералу Кирпиченко уже исполнилось шестьдесят шесть лет. Горбачев же требовал выдвигать молодых.
У Крючкова был очевидный фаворит — еще один заместитель начальника разведки Виктор Федорович Грушко. Ему еще не было шестидесяти. Но, видимо, эта кандидатура не прошла. В январе 1989 года Крючков передал Шебаршину свой кабинет в Ясенево и всю советскую разведку. 24 января Леонида Владимировича принял генеральный секретарь Горбачев с кратким напутствием.
В пятьдесят три года Шебаршин оказался во главе огромной разведывательной империи. Численность Первого Главного управления в те годы, по некоторым данным, составляла почти двенадцать тысяч человек. Каждый год на первый курс Краснознаменного института имени Ю.В. Андропова принимали триста будущих разведчиков.
Достаточно молодой для своей высокой должности (на шесть лет моложе Примакова), он мог еще долго оставаться на своем посту. Участия в августовском путче 1991 года Шебаршин не принимал. Председатель КГБ Крючков таланты Шебаршина ценил, но у него были люди и поближе — их он и втянул в путч.
Шебаршин после ареста Крючкова ровно одни сутки — с полудня 22 августа до двух часов дня 23 августа 1991 года — возглавлял КГБ. Произошло это так. 22 августа в девять утра в кабинете начальника Первого Главного управления и заместителя председателя КГБ генерал-лейтенанта Леонида Владимировича Шебаршина зазвонил аппарат спецкоммутатора, связывающего высшее начальство страны.
Начальник разведки уже был на работе. Он предполагал, что участие руководства КГБ в путче не пройдет безнаказанным. Открыв сейф, просматривал документы, решая, что можно сохранить, а что следует уничтожить. Одну бумагу, никому не доверяя, разорвал и спустил в унитаз личного туалета.
— С вами говорят из приемной Горбачева, — сказал женский голос. — Михаил Сергеевич просит вас быть в приемной в двенадцать часов.