Взаимоотношения Громыко с Брежневым с самого начала сложились значительно более благоприятно, чем с его предшественником. Они и до прихода Брежнева л к руководству были на дружеской ноге. Кроме того, Брежнев, особенно в первые годы, отнюдь не претендовал на роль непререкаемого авторитета во внешней политике, охотно признавал свою неопытность в этой сфере и был всегда внимателен к мнению и советам такого опытного дипломата, как Громыко. Несмотря на различие характеров и темперамента, они чувствовали себя друг с другом хорошо и работали слаженно, хотя Брежнев, как и Хрущев, временами ворчал по поводу излишнего формализма Громыко.
Так или иначе, первое десятилетие работы с Брежневым (пока он был еще здоров и вполне работоспособен) стало, пожалуй, наиболее плодотворным периодом деятельности Громыко как министра. Брежнев, как правило, благожелательно принимал соображения Громыко и предложения МИД, а Громыко охотно поддерживал и разрабатывал идеи генсека, направленные на укрепление разрядки международной напряженности…
В конце 70-х и начале 80-х годов условия деятельности Громыко как министра иностранных дел радикально меняются. Состояние здоровья Брежнева резко ухудшается, и он постепенно фактически отстраняется от повседневного руководства делами, в том числе и внешнеполитическими, передоверяя их своему ближайшему окружению. Во внешней политике — Громыко в сотрудничестве с Андроповым и Устиновым. Андрей Андреевич Громыко стал почти полновластной фигурой в формировании внешней политики страны. Вносимые им предложения в этой области обладали почти непререкаемым авторитетом. И это положение монополиста, помноженное на изначальную склонность Громыко к бескомпромиссной жесткости и некоторому догматизму в политике (склонности, которая не уменьшалась с возрастом), начало оказывать свое весьма негативное влияние. Тем более, что в новой ситуации Громыко стал особенно ревниво и подозрительно относиться к внешнеполитическим инициативам, исходящим не из его ведомства. На этой почве у него сложились довольно натянутые отношения, например, с секретарями ЦК КПСС и аппаратом ЦК, которые занимались международными делами. Активность внешней политики СССР в этот период заметно падает. На многих направлениях эта политика забуксовала…
В общении А. А. Громыко был как бы скован, что называется, застегнут на все пуговицы. Это даже подчеркивалось внешне: обычно темно-серый костюм с темным галстуком, неизменная (даже в жаркую погоду) темно-серая шляпа с жесткими полями. Пришлось слышать о таком маленьком, но характерном эпизоде. Английский министр иностранных дел Джордж Браун, отличавшийся довольно разухабистыми манерами, предложил как-то Громыко перейти «на ты» на английский манер, то есть называть друг друга просто по имени. «Зовите меня Джо, а я Вас как?» Ответ, после некоторого смущения, был таков: «Можете называть меня Андрей Андреевич».