Впервые его чуть не постигла катастрофа в начале года, когда он послал слишком раздражительного Дурхема погасить восстание в Канаде. Правительство подвергалось сильнейшим нападкам со стороны тори, которые обвиняли его в том, что канадцам дано слишком много прав, и не менее резкой критике радикалов, утверждавших прямо противоположное. Дурхем окончательно потерял голову и ничего не смог сделать, когда колония стала требовать самоуправления.
Многие члены кабинета министров подали бы в отставку, не дожидаясь, пока разразится буря, но партия вигов держалась, опираясь на небольшое преимущество в палате. Скандал с леди Флорой Гастингс обеспечил Мельбурну могущественных врагов с тяжелой дубинкой, которой они немилосердно пользовались. Радикалы и тори постоянно нападали на премьер-министра за то, что он не использовал свое влияние на неопытную девушку, не смог предотвратить случившегося, и теперь королеву и ее двор немилосердно склоняют за границей. Газеты упорно повторяли, что было бы нечестным, чтобы Виктория одна отвечала за жестокое обращение с бедной леди Флорой, чью репутацию полностью обелила ее ужасная смерть.
В этом следовало винить Мельбурна и его советников при дворе.
Только миновал кризис из-за положения в Канаде, как начались очередные волнения. Против своей воли Мельбурн согласился на освобождение рабов в королевской колонии Ямайка. Он считал эту меру преждевременной и опасался, что ее следствием могут стать волнения, однако давление со стороны радикалов в парламенте и реформаторов в его собственной партии заставили Мельбурна дать свое согласие. И оказалось, что он был прав – через несколько недель остров охватили волнения.
Гленелг – глупый, абсолютно неспособный к делам человек, по-прежнему продолжал совершать ошибки, Джон Рассел постоянно грозил отставкой, потому что коллеги не разделяли его взглядов, а Элторп досаждал Мельбурну настойчивыми утверждениями, что, несмотря на все волнения, в принципе эмансипация была делом правильным и необходимым. В результате правительство вигов разочаровало всех, так как не сумело справиться с ситуацией. Радикалы обвиняли соратников Мельбурна в дилетантстве и отсутствии либерализма и отказались голосовать в палате. Правительство избежало полного поражения перевесом всего в пять голосов. Это было слишком незначительное большинство, и Мельбурну не оставалось ничего иного, как подать в отставку, когда стало ясно, что доверие страны потеряно.
Новости привели Викторию в шоковое состояние. Мельбурн написал официально письмо королеве, информируя ее об отставке своего правительства, а через несколько часов явился к ней лично, чтобы все объяснить и попрощаться.