Наутро после тайного совета король отправил в лагерь Дугласа герольда с приказанием распустить войско сторонников, причем ослушавшиеся объявлялись предателями. Тем же, кто готов был покинуть мятежное знамя, король посулил прощение и награды. Дуглас высмеял эти призывы, построил своих воинов и под звуки труб, развернув знамена, уверенно двинулся навстречу королевской армии, готовый немедленно вступить в бой. Но, судя по всему, королевское послание все же озадачило воинов да и самого графа, засомневавшегося в их преданности. Он заметил, или ему показалось, что он заметил, растерянность в своих рядах, и повел армию назад в свой лагерь, надеясь внушить солдатам уверенность в победе.
Однако эти хождения туда-сюда возымели противоположное действие: как только Дуглас возвратился в свой шатер, сэр Джеймс Гамильтон пришел узнать, намерен ли он сражаться, уверяя, что любая отсрочка пойдет на пользу королю и чем дольше будет граф откладывать начало сражения, тем меньше у него останется солдат, которые захотят сражаться. Дуглас с презрением ответил, что «коли тот струсил и не хочет остаться, пускай отправляется домой». Поймав его на слове, Гамильтон покинул лагерь и той же ночью уехал к королю.
Его примеру последовали столькие, что, казалось, армия Дугласа в миг растаяла, словно снежок, и к утру в опустевшем, притихшем лагере едва ли набралась бы и сотня солдат, не считая приближенных графа. Дугласу пришлось бежать к восточной границе, где в местечке Аркинхольм в долине реки Эск 1 мая 1455 года его братья и сподвижники были разбиты наголову воинами Пограничья. Арчибальд Дуглас, граф Мюррей, один из братьев графа, погиб в бою, ему отрубили голову и отослали ее королю, а затем в Аберкорн. Еще один брат, Хью, граф Ормонд, был ранен, схвачен и тотчас же казнен, несмотря на его заслуги в сражении при Сарке. Джон, лорд Балвени, третий из братьев, сбежал в Англию, где нашел пристанище и сам граф. Вот так этот знаменитый и могущественный род, которому, казалось, оставался один шаг до владения короной, пал в одночасье, не дав решающего сражения. Преданность и отвага Славного лорда Джеймса послужили началом возвеличивания Дугласов, а мятеж и растерянность последнего графа покончили с ним.
Этот незадачливый вельможа жил почти двадцать лет изгнанником в Англии, и никто не вспоминал о нем на родине, пока при следующем короле он не угодил в плен, совершив в 1484 году набег на Шотландию и нарушив границу у Аннандейла. Сдался Дуглас брату Киркпатрика из Клозберна, который в лучшие дни был его вассалом и даже прослезился, когда увидел своего бывшего господина в столь жалком состоянии. Киркпатрик предложил освободить графа и бежать вместе с ним в Англию, но Дуглас ответил ему отказом. «Я устал от изгнания, — сказал он, — и коли король дает за мою голову награду, я бы предпочел, чтобы она досталась тебе, ведь ты всегда был предан мне, а я — лишь себе самому».