Ему еще не было и 18 лет, когда в 1941 г. он начал работу в органах безопасности. Тогда вместе с частями Красной Армии Гейдар попал в соседний Иран, в г. Тебриз. Здесь он занимался подрывной деятельностью в рядах радикалов-сепаратистов из просоветской «Демократической партии иранского Азербайджана», которые должны были помочь Сталину присоединить северный Иран к СССР. Знание с детства мусульманских обычаев и свободное владение восточными языками – фарси, турецким и арабским – помогли Гейдару в работе с советскими агентами в Тебризе, а через несколько лет – в Турции. С 1944 г. он начал работать в КГБ Азербайджана, параллельно получая образование на историческом факультете Азербайджанского университета.
В 1967 г. КГБ СССР возглавил Ю. В. Андропов. Более близкое знакомство с Алиевым произвело на него сильное впечатление. В результате Алиев возглавил органы госбезопасности Азербайджана, став одним из самых молодых в стране функционеров на таком посту (ему тогда исполнилось 44 года), да еще и в генеральском звании. Прекрасный исполнитель, действовавший без сомнений и осечек, он не знал убеждений иных, нежели официальный минимум имперской идеологии. Через два года, исходя из этих качеств подчиненного, Ю. В. Андропов буквально пробил назначение Алиева партийным руководителем Азербайджана.
Уже через месяц после назначения первый секретарь ЦК компартии Азербайджана ввел новый, открытый стиль правления, который вполне можно назвать и полицейским. Борьбу с коррупцией, сопровождавшуюся увольнениями и арестами, он вынес на всеобщее обозрение, подключив к этому и прессу. «Мы должны сорвать маску со смутьянов, заговорщиков и карьеристов, – говорил он, – которые наносят серьезный ущерб нашему делу. Мы должны развернуть решительную, непреклонную борьбу с имеющимися у нас случаями взяточничества и искоренить условия, которые к этому ведут». Алиев в разговоре с народом и партийными коллегами придерживался суровой прямоты, правдивости и полной откровенности, акцентируя внимание не на достижения, а на недостатки. Через 7 месяцев непрерывных чисток на всех уровнях он подобрался к центральному органу партии – республиканскому бюро, сместив некоторых партийных секретарей и главу правительства. Затем чисткам подвергся низовой аппарат. За полтора года Алиев полностью обновил партийное и государственное руководство, посадив на освободившиеся места лояльных ему людей, главным образом – сотрудников КГБ. Репрессии обрушились и на «красную буржуазию». Никто не был застрахован ни большими деньгами, ни высоким постом от разоблачения и наказания, вплоть до смерти. При этом чистки постоянно повторялись.