Сомнения и колебания этого брата короля привели к тому, что в 1473 году он с готовностью поддержал ланкастерского графа Оксфорда, который обрушился на южное побережье Англии со снаряженной во Франции флотилией. Связным между ними служил брат погибшего Делателя Королей епископ Джордж Невиль. Когда же Оксфорд высадился в Корнуоле и попытался поднять мятеж, Кларенс, находясь в центральных графствах страны, открыто заявил о своих правах на корону.
Кончилась эта авантюра плачевно. Оксфорд после длительной осады был схвачен в одном из замков и заточен в Кале в крепости Хэмс, туда же был заключен и епископ Иоркский. Теперь ему припомнили и родство с Уорвиком, и то, как некогда он помог уйти из-под опеки Иорков своей племяннице Анне Невиль, и то, что он взял под свое покровительство семьи многих уничтоженных Эдуардом IV ланкастерцеа.
Его содержали в суровом заключении до 1476 года, пока наконец-то Эдуарду не напомнили, что именно епископ отворил перед ним ворота Лондона в разгар схватки с Делателем Королей. Однако, выпустив престарелого прелата из темницы, король обобрал его до нитки. Лишь из милости Джорджа Невиля приютили в одном из монастырей его былой епархии, где он вскорости и умер.
Что же касается Джорджа Кларенса, то, казалось, ему снова все сошло с рук. Король ограничился сдержанным выговором и на некоторое время удалил герцога от двора, запретив являться, пока сам он не изволит его призвать. Джордж, разумеется, не удержался, чтобы не съязвить, и в присутствии всех лордов заявил, что Эдуард никак не может простить ему, среднему Йорку, его дружбу с Делателем Королей. На это король утомленно заметил, что если бы дело было в этом, то уж он бы начал с того, что постарался конфисковать большую часть владений покойного Уорвика в пользу короны, а вовсе не дарить их Кларенсу.
Многие тогда решили, что Эдуард необычайно мягок с мятежным братом, однако наиболее осведомленные утверждали, что король и в самом деле не простил герцогу союза с Уорвиком и никогда Джордж не приобретет такого влияния и могущества, как горбатый Ричард Глостер.
Провожаемый насмешливыми взглядами родственников королевы – Вудвилей, Джордж покинул Вестминстер и удалился в Уорвикшир, где в то время в замке Кенилуорт жила его супруга, дочь Уорвика Изабелла Невиль. Весна в тот год выдалась ненастной, ветреной, весь март хлестали дожди, сменявшиеся снегопадами, а за краткими оттепелями следовали ледяные бури. Джордж не мог развлечь себя даже охотой и, томясь скукой, уныло слонялся по обширным покоям старинного замка. Поэтому, когда неожиданно его навестил проездом младший брат Ричард, Кларенс ощутил нечто похожее на радость. Но едва Глостер сообщил, что король назначил его наместником всего Севера королевства, Джордж вновь впал в угрюмую ярость.