Граф Шувалов так и не смог использовать это супружество в своих целях, но оно дало возможность Глебову приблизиться к высочайшему двору. И это, конечно, сказалось на его стремительной карьере. В ноябре 1758 года он был удостоен ордена Св. Анны, а 16 августа 1760 года назначен генерал-кригскомиссаром и получил чин генерал-майора. В отличие от князя Я. П. Шаховского, А. И. Глебов исполнял свои обязанности не столь рачительно, что особенно сказалось на снабжении армии во время войны с Пруссией.
25 декабря 1761 года только что вступивший на престол Петр III назначил Глебова генерал-прокурором Сената. Будучи очень дружен с императором, он довольно быстро занял прочное место среди приближенных к монарху вельмож. Ему была поручена подготовка целого ряда важных узаконений. В частности, Александр Иванович являлся одним из авторов известных манифестов: от 18 февраля 1762 года «О даровании вольности и свободы всему российскому дворянству» и от 21 февраля 1762 года «Об уничтожении Тайной канцелярии».
В феврале 1762 года Глебов был награжден орденом Св. Александра Невского, став таким образом первым александровским кавалером в царствование Петра III.
В этот период генерал-прокурор работал много и неустанно. Каждый день в 8 часов утра он одним из первых являлся во дворец с докладом к императору. Он занял почти такое же положение, как и первый генерал-прокурор П. И. Ягужинский, став как бы посредником между государем и Сенатом. Почти все поручения Сенату, подписанные Петром III, были составлены Глебовым.
Однако время пребывания Глебова в должности генерал-прокурора оказалось весьма недолгим (немногим более двух лет) и довольно бесцветным. Оно характеризуется почти полным отсутствием «доношений» от представителей местной прокуратуры. А те немногие, которые к нему поступали, он обычно направлял в Сенат, не делая никаких предложений.
Будучи опытным царедворцем, хитрым и изворотливым (современники называли его «человеком с головой»), генерал-прокурор очень тонко оценил обстановку во время дворцового переворота 1762 года и, несмотря на привязанность к Петру III, сразу же поддержал Екатерину II. Поскольку он обладал не только исключительными способностями, но и трудолюбием, Екатерина II, знавшая о его дурных наклонностях и корыстолюбии, продолжала держать Глебова на высшем прокурорском посту. Более того, она поручила ему вместе с графом Н. И. Паниным руководство только что созданной Тайной экспедицией, расследовавшей все политические дела.
Мало занимаясь организацией работы подчиненных прокуроров, Глебов сосредоточил основное внимание на деятельности Сената, хозяйственных и финансовых вопросах, подготовке различных узаконений. Именно этого касались многочисленные поручения императрицы, которые он исполнял всегда оперативно, в считанные дни давая ответ Екатерине II. По ее предложению он, например, подготовил специальное узаконение, направленное на борьбу с лихоимством судей и чиновников.