Грушко трудился в Третьем (англо-скандинавском) отделе, который занимался Англией, Ирландией, Австралией, Новой Зеландией и скандинавскими странами. В 1972 году стал заместителем начальника, затем возглавил отдел. В 1980 году Крючков сделал Грушко своим заместителем.
Из норвежской резидентуры помимо Грушко вышли еще два генерала. Геннадий Федорович Титов стал помощником Крючкова и сменил Грушко на посту начальника третьего отдела. Таким же путем шел и Владимир Иванович Жижин. Он стал помощником Крючкова. Когда Крючков стал председателем КГБ, возглавил его секретариат. В начале 1991 года Крючков вернул его в разведку, назначил на должность, освободившуюся после ухода Титова. Возможно, имея в виду поставить Жижина, начальника своего секретариата, во главе разведки, как это сделал когда-то Андропов. Но Владимира Жижина, самого молодого генерала в КГБ, подвела близость к начальству: он принял участие в путче в августе 1991 года и лишился должности.
Крючков забрал Грушко из разведки и сделал начальником второго главного управления (контрразведка) – вместо отправленного на пенсию генерал-полковника Ивана Алексеевича Маркелова, затем назначил своим первым заместителем. Грушко и его помощник полковник Алексей Егоров были среди главных разработчиков планов введения чрезвычайного положения в стране. Грушко все августовские дни был рядом с Крючковым, даже ночевал на Лубянке.
Крючков использовал для встреч с будущими членами ГКЧП гостевой дом разведки и объект АБЦ на Ленинском проспекте. Перед каждой встречей председатель КГБ звонил Шебаршину, спрашивал, свободен ли гостевой дом, просил подготовить ужин.
Генерал Грушко позвонил Шебаршину 18 августа днем и от имени Крючкова приказал привести в боевую готовность две группы сотрудников отдельного учебного центра – по пятьдесят человек каждая.
– А какое задание? – поинтересовался Шебаршин.
– Не знаю, – ответил Грушко. – Владимир Александрович звонил из машины. Велел передать приказ.
Еще недавно Шебаршин и Грушко находились в равном положении. Но теперь Грушко стал не только первым зампредом, но и пользовался особыми правами внутри комитета как близкий к Крючкову человек. Он давал указания, не считая нужным ничего объяснять, хотя прекрасно знал, зачем понадобился спецназ. Шебаршину пришлось проглотить пилюлю.
Отдельный учебный центр был создан после штурма дворца Амина в Кабуле, когда выяснилось, что у Комитета госбезопасности нет своего спецназа. 19 августа 1981 года политбюро приняло решение создать внутри КГБ отряд специального назначения для проведения операций за пределами Советского Союза «в особый период». Отряд базировался в Балашихе, где еще со времен НКВД находился учебно-тренировочный комплекс диверсионных групп.