Враждебность фульбе заставила шейха в октябре еще не раз разбивать лагерь. В такой обстановке об отъезде Барта не могло быть и речи. Ноябрь не принес никакого улучшения, а в конце месяца положение стало критическим, так как из столицы прибыл вооруженный отряд, который грозил расправиться со всеми, кто не послушается приказа задержать чужестранца «живым или мертвым».
Утром 1 декабря прискакавший из города гонец сообщил, что там готовятся к нападению на лагерь. Вскоре вдали показались всадники. Приблизившись, они передали шейху приказ султана выдать Барта, а заодно и его имущество. Напряжение в Томбукту нарастало с каждым часом, многие из друзей шейха советовали сдаться, но шейх решил обратиться за помощью к туарегам, и те прислали 100 вооруженных всадников, которые расположились вблизи жилья шейха и его резиденции для приема гостей. Соотношение сил вновь изменилось, обстановка разрядилась, и открытого нападения не произошло.
Барт понял, что тесный контакт с туарегами — залог его безопасности. Уходить из Томбукту можно было по трем дорогам: через область, населенную фульбе, — к западному побережью; вернуться к дороге вдоль Нигера, то есть так же, как он прибыл в Томбукту, и, наконец, на север, через районы, населенные туарегами, — к Средиземному морю. Несмотря на то что Барт мечтал завершить исследование Нигера, в данной ситуации он избрал третий путь, сочтя его наименее опасным.
После нескольких безуспешных воинственных выступлений противники шейха решили испробовать другую тактику: они пригрозили блокировать Томбукту и взять под контроль верховье Нигера, откуда по воде поступало зерно для города, что привело бы к голоду и наверняка к смутам. Таким образом, свой четвертый год в Африке Барт вынужден был встретить в состоянии полной неопределенности.
Первые недели 1854 года прошли относительно спокойно. Барт, как и прежде, ограничивался обществом шейха и его ближайшего окружения. Он все более настойчиво говорил своему радушному хозяину о своем желании как можно скорее отправиться в обратный путь, однако Эль-Баккаи не хотел рисковать — и Барт вынужден был запастись терпением. С конца февраля агрессивность фульбе усилилась. Вооруженное столкновение вновь казалось неизбежным, хотя сам Барт, из-за которого разгорелись распри, ничего так страстно не желал, как покинуть наконец Томбукту. Он умолял шейха сделать все возможное, чтобы мирно уладить конфликт. Мысль, что из-за него погибнут люди, была для Барта невыносимой. К счастью, удалось избежать военного столкновения и все обошлось мирным путем: фульбе обязались оттянуть свои вооруженные силы от Томбукту, а шейх обещал, что Барт больше не появиться в городе, а впредь будет жить только в лагере.