Чтобы встретить во всеоружии предстоящие в 1980 году Летние Олимпийские игры в Москве, возникла необходимость формирования специальных секретных сил, способных противостоять возможным террористическим угрозам и обеспечивать безопасность советских граждан (в том числе и высшего руководства) как на территории СССР, так и, в случае необходимости, за рубежом. В Германии после Олимпиады с той же целью — предотвращения повторных трагедий — был создан отряд GSG 9, который занимался пресечением особо тяжких преступлений, связанных с убийствами, разбоем и захватом заложников; именно этот отряд Андропов приводил в качестве примера ответных действий властей ФРГ на террористические акты. Аналогично в США появилось армейское спецподразделение «Дельта» в 1977 году; в эти же годы появились спецподразделения GIGN во Франции. На стол руководства КГБ СССР поступала информация не только о создании спецподразделений по борьбе против терроризма за рубежом, но и о новых террористических актах: она тщательно анализировалась, что учитывалось при продумывании идеи о новом подразделении КГБ СССР.
Приказом № 0089/ОВ («особой важности») от 29 июля 1974 года по инициативе Председателя КГБ СССР Юрия Андропова в 5-м отделе (охраны дипломатических представительств) Седьмого управления КГБ СССР при Совете Министров СССР было создано особое структурное подразделение, известное как «Группа „А“» (от слова «антитеррор», которое негласно в КГБ называли «Группа Андропова», хотя сам Андропов не считал наименование каким-либо важным в деятельности группы). В обязанности группы входило выполнение специальных заданий Председателя КГБ СССР по пресечению террористических, диверсионных и иных особо преступных акций. Первым командиром спецподразделения был назначен генерал-майор пограничных войск Виталий Бубенин, Герой Советского Союза и участник советско-китайских вооружённых столкновений на острове Даманский. Аналогичными специальными подразделениями в составе КГБ СССР, схожими по функциям, в те годы также являлись «Зенит» и «Каскад». Численность первой группы составляла 30 человек: по воспоминаниям полковника А. Н. Савельева 1992 года, первый набор группы «А» и призыв 1978 года были одними из лучших за историю группы благодаря тому, что призванные в группу люди не только имели отличную физическую подготовку благодаря занятию спортом, но и отличались высоким интеллектом.
Конкурсный отбор личного состава для группы был очень жёстким: туда могли быть зачислены только люди, имевшие высокий уровень физической и профессиональной подготовки, годные для службы в Воздушно-десантных войсках, положительно себя зарекомендовавшие, а также честные, преданные своей Родине, психологически выносливые и добросовестные; также они должны были являться офицерами КГБ, имеющими московскую прописку. В связи с тем, что подобных отрядов и групп прежде не сформировывалось в связи с отсутствием прецедентов, которые создали бы необходимость в таковых подразделениях, формирование группы «А» осуществлялось исключительно на добровольной основе. Первая база нового отряда была размещена в борцовском зале на Новослободской улице в Москве. В отличие от зарубежных спецподразделений типа «Дельта», для пополнения личного состава «Альфы» руководство КГБ СССР не проводило массовый смотр потенциальных кандидатов, направляя своих представителей в те или иные уголки СССР, а разрешило принимать любых сотрудников КГБ при наличии у них московской прописки, но, прежде всего, полагалось на опыт комитетского отдела кадров и даже на личные знакомства последних с кандидатами. Савельев отмечал, что многие пришли в группу из службы наружного наблюдения при Седьмом управлении КГБ СССР («наружки»), где от сотрудников требовалось постоянно думать и анализировать ситуацию для принятия верного решения.