А вот что говорил о своем начальнике обер-прокурор Сената князь А. Н. Голицын: «В минуту желчи гений блестел в его глазах; тогда с необыкновенной проницательностью он охватывал предмет; ум его был вообще положителен, но тяжел; память и изучение законов редкая; но он облекал их в формальности до педантизма, которым он всем надоедал. Олицетворенную честность и правдивость его мало оценивали, потому что о житейском такте он и не догадывался, хотя всю службу почти был близок ко двору».
Служба принесла Державину чин действительного тайного советника и орден Св. Александра Невского. Однако, спустя год, император Александр I заметно охладел к министру юстиции и генерал-прокурору Державину и перестал принимать его с докладами. Отставка не заставила себя ждать. На прямой вопрос, за что его увольняют, император откровенно сказал: «Ты очень ревностно служишь». На это Г. Р. Державин ответил: «А как так, государь, то я иначе служить не могу. Простите».
Недруги Державина ликовали. Появились пасквили и злобные эпиграммы, вроде следующей: «Ну-ка, брат, певец Фелицы, на свободе от трудов и в отставке от юстицы наполняй бюро стихов. Для поэзьи ты способен, мастер в ней играть умом, но за то стал неугоден ты министерским пером…» Завадовский писал в то время графу Воронцову: «Общее возрадование, что князь Лопухин переменил Державина! Не дай Бог, чтоб когда-нибудь в министерстве очутился подобный поэт».
Выйдя в отставку, Г. Р. Державин всецело занялся литературным трудом: издавал сочинения, работал над «Записками» о своей бурной жизни. Он оставался все таким же беспокойным борцом за справедливость и считал себя «отставным служивым». В частности, в 1807 году Державин написал две записки императору Александру I, в которых прозорливо усмотрел опасность для России со стороны Наполеона и предлагал меры по «укрощению наглости французов» и о том, как «оборонить Россию от нападения Бонапарта». Об этом же он говорил с Александром I и при их личной встрече. Император выслушал его благосклонно, но идеи поэта его уже не интересовали.
Литератор С. П. Жихарев (впоследствии московский губернский прокурор и обер-прокурор Сената) писал о нем: «С именем Державина соединено было в моем понятии все, что составляет достоинство человека: вера в Бога, честь, правда, любовь к ближнему, преданность к государю и Отечеству, высокий талант и труд бескорыстный…» И далее: «Это не человек, а воплощенная доброта, но чуть только коснется до его слуха какая несправедливость и оказанное кому притеснение или, напротив, какой-нибудь подвиг человеколюбия и доброе дело — тотчас оживится, глаза засверкают и поэт превращается в оратора, поборника правды…»