Однако у неординарной личности Эллисона была и другая сторона – импульсивная, как пробка, вылетающая из бутылки шампанского. После завершения карьеры игрока он несколько лет зарабатывал деньги азартными играми на ипподромах и в казино и лишь после затянувшейся серии проигрышей решил вернуться в футбол. Он также был совладельцем клуба в Сохо, самом злачном и богемном лондонском районе. До начала тренерской работы его регулярно видели в компании бывших гангстеров, ставших антрепренерами; певиц, моделей и миллионеров, которым он помогал проигрывать деньги в рулетку. В этой среде он получил прозвище Большой Малколм (Big Mal) и, вернувшись в Лондон после восьми лет работы в Манчестере, быстро вспомнил, какой была его жизнь без футбола.
Второй сезон Эллисона в «Пэласе» обернулся катастрофой: команда не то что не поборолась за возвращение в первый дивизион, а стремительно вылетела в третий. Удивительно, но и эта неудача не повлияла на его популярность: Эллисон отлично ладил с игроками, болельщики были в восторге от ребрендинга клуба, журналисты любили его за то, что он подбрасывал им идеальные цитаты для заголовков. Например, после разгрома от «Ноттс Каунти» он заявил: «Мы много работали для этого поражения». Эллисон продолжал посещать ночные клубы и заказывать шампанское в свой кабинет на стадионе, а вот свои новаторские тренировочные методы забросил, потому что считал, что футболисты «Пэласа» все равно никогда не будут соответствовать уровню высшей лиги. Один из его игроков сказал: «Только Эллисон мог вылететь с клубом из первого дивизиона в третий и стать при этом всеобщим любимцем».
На второй год пребывания в третьем дивизионе наконец случилось то, ради чего Эллисона и пригласили: «Кристал Пэлас», когда-то игравший на стадионе, где проводились финалы Кубка Англии, выдал самый впечатляющий кубковый спурт в своей истории и дошел до полуфинала, одержав в числе прочего победы над «Лидсом» и «Челси». Эллисон вспомнил о своих тренерских амбициях и переучил команду на схему игры с либеро, что поставило в тупик соперников. Кроме того, в матче третьего раунда Кубка против заштатного «Скарборо» Эллисон заставил перенести начало игры на 45 минут вперед из-за того, что сомневался в мощности искусственного освещения на стадионе. Чтобы как-то укрыться от слепящего закатного солнца на бровке, тренер надел пижонскую федору, фетровую шляпу с мягкими полями, и в таком виде немедленно попал на страницы всех газет – в федоре и с сигарой во рту. Игроки «Пэласа» потом шутили: «Только у нас появился шанс быть замеченными, как эта шляпа украла нашу славу».