Ермолов, поспеши спасать сынов Эллады,
Ты, гений северных дружин!..
И, цепи сбросивши невольничьего страха,
Как феникс молодой,
Воскреснет Греция из праха
И с древней доблестью ударит за тобой!
На Кавказе Ермолов значительно продвинул вперед дело завоевания края, действуя с большой жестокостью, присоединил к русским владениям ряд областей, ввел много административных улучшений в управление. В связи с неожиданным вторжением в русские пределы персидских полчищ, – о возможности чего Ермолов предупреждал Петербург и требовал подкреплений, – Николай, и вообще недовольный Ермоловым за его подозреваемые связи с декабристами, послал, как бы в помощь ему, Паскевича. Получилось двоевластие, совершенно неприемлемое для Ермолова, и в марте 1827 г. он подал в отставку. С тех пор он жил в Москве не у дел, как и многие другие крупные люди, осужденные николаевщиной на бездеятельность, – Мих. Орлов, Чаадаев, – пользуясь огромной популярностью и почетом. Вигель так характеризует его: «Ермолов горд, властолюбив, хитер, иногда жесток и неумолим, но храбр, умен и искусен». У него действительно были черты хитрости, лукавства, была склонность к двойной игре. Пушкин в своем дневнике (1834) называет его «великим шарлатаном», но очень интересовался личностью Ермолова и даже собирался писать его биографию. Отправляясь в 1829 г. на Кавказ, Пушкин сделал двести верст лишних и заехал в Орел специально для того, чтобы увидеть Ермолова. Вот как он его описывает: «Лицо круглое, огненные серые глаза, седые волосы дыбом. Голова тигра на геркулесовом торсе. Улыбка неприятная, потому что неестественна. Когда же он задумывается и хмурится, то он становится прекрасен. Он был в зеленом черкесском чекмене. На стенах кабинета висели шашки и кинжалы – памятники его владычества на Кавказе. Он, по-видимому, нетерпеливо сносит свое бездействие. Несколько раз принимался он говорить о Паскевиче и всегда язвительно: говоря о легкости его побед, он сравнивал его с Навином, пред которым стены падали от трубного звука, и называл графа Эриванского – графом Эрихонским». После посещения Пушкина Ермолов писал Денису Давыдову: «Был у меня Пушкин. Я в первый раз видел его и, как можешь себе сообразить, смотрел на него с живейшим любопытством. В первый раз не знакомятся коротко, но какая власть высокого таланта! Я нашел в себе чувство, кроме невольного уважения».
В пятидесятых годах Ермолова имел случай встречать в Москве князь В. М. Голицын. В неизданных своих записках он рассказывает: «Ермолов жил совершенно затворником и никогда почти не появлялся на глазах публики. Москва в нем ценила как героя Отечественной войны и Кавказа, так еще более жертву Петербурга и его высоких сфер, умышленно державших его в стороне от какой-либо активной роли. В то время рассказывали, что приезжавшие в Москву более или менее высокопоставленные военные чины считали долгом своим посетить Ермолова, но делали это потихоньку, украдкой, из опасения, чтобы «там» как-нибудь об этом не узнали. Когда в последний год жизни Николая I, глубоко ненавидевшего Ермолова и его боявшегося, созвано было ополчение, Москва единодушно выбрала его начальником губернской дружины, подчеркнув демонстративный смысл этого избрания, но он отказался по старости лет».