С 1935 года — уполномоченный 7-го отделения ИНО ГУГБ НКВД.
В апреле 1936 года под прикрытием должности представителя Народного комиссариата тяжелой промышленности при торгпредстве СССР в Германии направлен в долгосрочную командировку в Берлин. Принял там на связь нескольких ценных агентов. В декабре 1937 года получил задание выехать во Францию для нелегальной работы. Там А. Коротков возглавил группу, созданную для ликвидации нескольких предателей.
В 1936 году его отозвали в Москву и зачислили в резерв назначения. Через год уволили из органов НКВД. Однако он отправил новому наркому внутренних дел Л. П. Берии личное письмо, где доказал, что его увольнение является ошибкой. Грозный нарком быстро отреагировал на такой экстраординарный шаг и восстановил разведчика на работе.
С апреля 1939 года А. Коротков стал старшим оперуполномоченным, а с мая того же года — заместителем начальника 1-го (немецкого) отделения 5-го отдела ГУГБ НКВД.
В августе 1940 года А. Короткова направляют в Берлин в качестве заместителя легальной резидентуры под прикрытием должности третьего секретаря полпредства СССР в Германии. Он активизировал связи с такими ценными агентами, как Брайтенбах, ответственным сотрудником гестапо, резидентами Корсиканцем и Старшиной и некоторыми членами из их резидентуры. От них была получена наиболее важная информация о подготовке Германии к нападению на Советский Союз.
В первые дни войны, когда здание полпредства в Берлине было оцеплено гестаповцами, А. Коротков, рискуя жизнью, сумел несколько раз выехать в город для встреч с агентами, постановки перед ними новых задач и передачи им радиостанций, чтобы обеспечить бесперебойную связь с Центром. Вскоре в числе интернированных сотрудников полпредства СССР в Германии он вернулся в Москву.
С августа 1941 года он — заместитель начальника, а с октября того же года — начальник 1-го отдела (разведка в Германии и на оккупированных ею территориях) НКВД СССР.
В 1943–1944 годах выезжал в Иран и дважды в Афганистан для выполнения специальных заданий по ликвидации германской агентуры в этих странах, действуя под фамилией полковника Михайлова.
С октября 1945-го по январь 1946 года — резидент объединенной резидентуры внешней разведки в Германии под прикрытием должности заместителя политического советника при главноначальствующем Советской военной администрации.
В мае 1946 года А. Коротков стал начальником управления 1Б (нелегальная разведка) и заместителем начальника Первого главного управления МГБ СССР. С мая 1947 года он — начальник 4-го управления (нелегальная разведка) Комитета информации при Совете Министров СССР, а с мая 1949 года одновременно член этого комитета. С сентября 1951 года — заместитель начальника Бюро № 1 МГБ СССР по разведке и диверсиям за границей, а в ноябре 1952 года становится заместителем начальника ПГУ МГБ СССР и начальником управления «С» (нелегальная разведка). С марта 1953 года — заместитель начальника, а с 28 мая того же года — и. о. начальника Второго главного управления (внешняя разведка) МВД СССР. С 17 июля 1953 года — начальник отдела нелегальной разведки ВГУ. В марте 1954 года А. Коротков становится и. о. начальника управления нелегальной разведки и врио заместителя начальника ПГУ, а с сентября 1955 года — начальником этого управления и заместителем начальника ПГУ.