Ричмонд задавал неудобные вопросы первым лицам в армии, в Адмиралтействе и в казначействе, что не делало его популярным. Он мог приехать в город в утро дебатов, бегло ознакомиться с вопросами, выставленными на повестку дня, и в тот же день высказать о них свое мнение. Неудачи в достижении поставленных им целей быстро повергли герцога в уныние, он то и дело грозился совсем уйти из политики. У него бывали затяжные периоды депрессии, об одном из них в 1769 году он написал Рокингему: «Я должен как-то развлечь себя в своем нынешнем состоянии, которое не знаю, как и описать». В Сассексе он истратил огромные деньги на новые флигели поместья Гудвуд-хаус, на псарни, на ипподром, на яхту, охоту и на местное ополчение. Ричмонд унаследовал огромное поместье стоимостью 68 000 фунтов стерлингов, дополнительный ежегодный доход в 20 000 фунтов приносили ему угольные шахты. Тем не менее через сорок лет он обнаружил, что у него скопился долг — 95 000 фунтов стерлингов. Интерес к государственному управлению у него, так же как и у других людей из его окружения, часто пропадал, перескакивая на иные предметы. Как-то Ричмонд написал Берку, что неразумно призывать его в Лондон до того, как собрался парламент. Мол, его мнение мало что значит, а потому общение с другими политиками нецелесообразно. «Позвольте мне поразвлечься здесь до начала заседаний, а уж потом, если вам угодно, я съезжу в город на несколько дней и огляжусь по сторонам».
В 1770 году, не сдерживая себя никакими условностями, Ричмонд заявил, что министры ведут себя в Америке, как «ловкие мошенники, либо как неисправимые дураки, наши министры — позор для правительства». В отношении правительственных актов начиная с 1768 года он высказал восемнадцать критических замечаний и заметил, что «акты стали главной причиной упомянутых беспорядков». Хиллсборо, как обычно, ответил, что все делалось ради установления власти, и выдвинул встречное обвинение: «Наши патриоты из оппозиции стимулируют колониальный протест. Из патриотического желания поставить на место они постоянно возводят препятствия на пути к примирению… А на самом деле, милорды, весь их патриотизм — тривиальная жажда чинов».
Хиллсборо явно недооценивал сопротивление колоний, но в то же время не ошибался относительно мотивов оппозиции. «Жажда чинов», однако, уступала инерции оппозиционеров относительно создания политической организации. Из-за взаимных стычек и расхождения во мнениях оппозиция действовала неэффективно и не находила общей основы, на которой могла бы построить прочный фронт. «Даудсуэлл [бывший при Рокингеме канцлером казначейства] дьявольски дуется на лорда Чатема, — писал Ричмонд маркизу Рокингему, — а Берк слишком горяч». Берк не мог смириться с высокомерием Чатема, а тот не выносил союзника, равного ему в интеллектуальном плане. Хотя Рокингем пытался привлечь Чатема в команду для совместной работы под своим началом, Чатем признавал только свое главенство. Не желая все время оставаться в меньшинстве, Шелберн в 1771 году вместе с Барре уехал за рубеж. Ричмонда и Рокингема поманили собственные земли. Как выразился современник-сатирик, «школьники-прогульщики с собакой и рожком покидают часовню Святого Стефана ради охоты на лис».