Бантыш-Каменский так характеризует в своем знаменитом «Словаре» Храповицкого:
«Тучный собою, имел нрав гибкий, вкрадчивый, должен стоять наряду с утонченными придворными: он умел ладить с Вяземским и Безбородко, познакомился с Мамоновым, прежде нежели последний вошел в силу. Был дружен с любимым камердинером государыни Зотовым (знаменитый Знахарь), который передавал ему самые тайные разговоры. Уверяют, будто он при всех своих достоинствах имел одинаковую слабость с бессмертным лириком нашим Ломоносовым, только предавался оной ложась спать, в надежде, что не будет требован во дворец».
А граф Д. Н. Блудов, со слов В. А. Озерова, рассказывает, что когда Екатерина требовала Храповицкого к себе по делам невзначай и не в урочное утреннее время, то Храповицкому приходилось окачиваться холодной водой, чтобы предстать пред монархиней в сколько-нибудь благообразном виде. Он сам с глубокою горестью рассказывал Озерову, что эти неумеренные возлияния Бахусу мешали ему вести «Дневник» более обстоятельно и что через это многие мысли и меткие отзывы императрицы были потеряны для истории. Но зато он удостоился самого лестного отзыва своей государыни.
– Руку свою дам на сожжение, что Храповицкий не берет взяток, – сказала однажды Екатерина Вяземскому, до которого дошли слухи, что теща Державина, госпожа Бастидонова, нечиста на руку.
– Она сама негодница и доходила до кнута, – говорила государыня Храповицкому, – но так оставлена за то только, что была кормилицей великого князя Павла Петровича.
В другой раз, по поводу недобросовестной просьбы какой-то Елмановой, попавшей в руки государыни чрез Державина, Екатерина сказала Храповицкому:
– Передай ей, что j ai un coeur de roche, и спроси Державина, не знакома ли ему. Теща его всех просительниц знает.
Ночью в Бахчисарае, после знойного дня, когда императрицу посещали тени бывших властителей Крыма, Храповицкий успел здорово помолиться Бахусу, и теперь, после долгого окачивания своей умной головы ледяной водой из ханского фонтана, «преужасно потел».
Едва он успел доложить наиболее важные бумаги, как в кабинет вошли Потемкин и Дмитриев-Мамонов, которые пользовались свободным, без доклада, доступом к императрице.
Но как раз перед их приходом императрица, «говоря с жаром о Тавриде», сказала Храповицкому:
– Приобретение сие важно. Предки дорого бы заплатили за это. Но есть многие люди противного мнения, которые жалеют еще о бородах, Петром выбритых.
Храповицкий молчал, не зная, на кого намекает императрица. Но она сама заговорила:
– Вот хоть бы Александр Матвеевич…