И снова проблемой стали прорывы на сцену. Сначала это было чем-то вроде развлечения на ска-концертах, но рано или поздно, как и в случае с Sham 69, они должны были начать вырываться из-под контроля. Как только на сцене появлялись Specials, все сразу же пытались к ним присоединиться, и доходило до того, что музыкантам оставалось там слишком мало места.
«Но кто я такой, чтобы командовать им не забираться к нам на сцену? Они платят свои 3 фунта, и, если говорить обо мне, я могу позволить себе делать то, что им нравится.»
Terry Hall.
Вместо того, чтобы устанавливать заграждения, группа стала делать возвышения на сцене, чтобы забираться на них и продолжать играть в любом случае. В конце концов летом 1980 на концерте в Skegnes под тяжестью доброй половины публики сцена с грохотом проломилась, развалившись на несколько частей и накрыв музыкантов сверху.
В тот раз обошлось без повреждений, но на будущее было принято решение о том, что во время выступлений сцена должна оставаться пустой. Это сразу же привело к потасовке в Дублине, когда группа выступала в Emerald Isle, потому что скинхеды, прибыв в Starlight Ballroom, начали битву с охраной за то, чтобы вылезти на сцену и танцевать там.
В отличие от Madness, смена звучания не помогла группе избавиться от драк на концертах. Во время тура «More Specials» возникали столкновения в Кардифе, Эдинбурге и Ньюкастле. То же самое случилось и в Кембридже, где собралось 3 500 зрителей, ожидающих своих 2-Топе героев. Драки начались из-за разногласий в футбольных симпатиях, но вмешались, как всегда, полные такта охранники и дело начало приобретать куда худший оборот.
Specials делали все, что могли, чтобы разрядить атмосферу, но даже они не могли просто так стоять и смотреть, как тупые животные «наводят порядок» на их концерте. Когда же наконец приехала полиция, всех вежливо попросили разойтись по домам, а Даммерс и вокалист Терри Холл были обвинены в подстрекательстве к дракам. Оба должны были заплатить по 1 000 фунтов штрафа — цены бешеные. Но так действует самая справедливая система в мире.
Это было уже слишком даже для Specials. В лагере 2-Топе все начало затихать, а каждый участник группы работал над собственным проектом. Распад был уже близок, но группе еще выпало пережить свои лучшие минуты во время долгого, жаркого лета 1981.
Безработица была все время высокой, молодежь болталась по улицам день за днем, не зная, чем себя занять. Там и здесь вспыхивали беспорядки, но властям не было до этого никакого дела. Тогда каждый с восхищением следил за свадьбой королевской семьи, а когда по телевидению передавали репортаж с вертолета, летевшего вслед за королевской процессией, на крыше автомобильной стоянки все увидели написанное большими буквами: «Часу и Ди тоже привет от скинов с Вест Хэм». Радиостанции крутили последнюю песню Specials под названием «Ghost Town». Сочиненная в память о Ямайке, она рассказывала про Город Призраков.