Но твердая политическая линия Калугина не уберегла его от конфликтов с новым начальником ПГУ В.А. Крючковым, назначенным на эту должность в 1974 году. Можно долго ломать голову по поводу причин этого конфликта, но ясно одно: новый начальник не пожелал терпеть рядом строптивого подчиненного и постарался избавиться от него, что и произошло в 1980 году. Разумеется, для 46-летнего перспективного генерал-майора перевод в Ленинградское управление, пусть даже на специально для него созданную должность, был неприятной неожиданностью, нарушившей стремительный взлет его карьеры, и, по-видимому, он затаил на Крючкова жгучую обиду.
Ленинградское УКГБ, где полновластным хозяином был его начальник генерал-лейтенант Д.П. Носырев, встретило Калугина сдержанно. А после того как его назначили ответственным за второстепенные участки работы, он понял, что о дальнейшем карьерном росте в Ленинграде можно даже не мечтать. Правда, оставалась надежда вернуться в Москву. В 1983 году, когда Генеральным секретарем ЦК КПСС стал Ю. Андропов, Калугину показалось, что на горизонте забрезжили радужные перспективы — его пригласили на учебу в Москву и поручили возглавить группу из сорока заместителей председателей республиканских КГБ и областных управлений. И действительно, предложение вернуться в Москву последовало, но не на оперативную работу, а в Высшую школу КГБ. Предложение перейти на преподавательскую работу в «отстойник» Калугин воспринял как оскорбление и решительно отказался. Вернувшись в Ленинград, он продолжал настойчиво добиваться перевода в разведку, но смерть Ю. Андропова в феврале 1984 года перечеркнула его надежды.
В 1984 году Калугину исполнилось 50 лет. Его попытки добиться приема у нового председателя КГБ В.М. Чебрикова не увенчались успехом. Не ответил Чебриков и на рапорт Калугина, поданный на его имя. Тем временем отношения Калугина и Носырева все более ухудшались, и в середине 1986 года дело дошло до того, что р Ленинград приехала комиссия Инспекционного управления КГБ. Она была направлена в город после того, как Калугин написал письмо на имя М. Горбачева, в котором обвинял Носырева в замазывании реальных проблем и злоупотреблении служебным положением. Дело закончилось тем, что в начале 1987 года Калугина вызвали в Москву, перевели в действующий резерв КГБ и назначили заместителем начальника управления по режиму Академии наук СССР.
Оказавшись в Москве, Калугин сделал очередную попытку вернуться «во власть» и написал письмо в духе перестройки лично М. Горбачеву, в котором рекомендовал реформировать КГБ.