Эль-Баккаи решил отправить в Европу миссию, в которой находились его зять и племянник. 22 июня 1857 года они прибыли в Триполи и собирались отбыть в Лондон. Однако приезд миссии пришелся там некстати: их продержали несколько месяцев и под сомнительным предлогом отправили обратно домой. Барт, передавший в свое время приглашение в устной форме, воспринял эти акции как личное оскорбление. Его возмущение достигло предела, когда в 1858 году он получил письмо от шейха Эль-Баккаи, в котором тот дал волю своему негодованию по поводу действий английского правительства. Разумеется, он не сомневался в искренности Барта и считал его непричастным к этой афере. «Ну и пусть они так поступают, — писал Барт свояку. — Это еще раз говорит о том, что англичане в своем миссионерском лицемерии ничего не смыслят, и то, что я им предоставил щедрой рукой, они втоптали в грязь. Надо только, чтобы господа, живущие у Нигера и у озера Чад, знали, что я их не обманул».
Отношения Барта с иностранным ведомством все более обострялись, и дело кончилось полным разрывом. Среди прочих действий англичан, оскорблявших Барта, было и еще одно: когда 26 марта 1857 года к рекам Нигер и Бенуэ была отправлена пароходная экспедиция, организованная по его же инициативе, Барта даже не сочли нужным информировать об этом, хотя он принимал участие в подготовительных работах. Правда, вскоре члены экспедиции жестоко поплатились за это. Вблизи Раббы судно село на мель, так как путешественники пренебрегли советом Барта послать вперед пароход с меньшей осадкой. Руководитель экспедиции капитан Бейки вынужден был почти шесть лет жить на застрявшем в реке судне. После того как его удалось снять с мели, оно достигло Кано, а затем Сокото.
Жизнь крупного ученого осложняли и другие неприятные обстоятельства: ему так и не был вручен давно обещанный орден Бани; завязанные им торговые отношения не получили развития; даже многочисленные образцы товаров, которые он с огромными трудностями провез через пустыню, оставались лежать мертвым грузом в нераскрытых ящиках. В письме Бунзену от 9 января 1858 года Барт высказал все, что у него наболело: «Интерес, который Вы проявляете к моему труду, окрыляет меня и придает новые силы. В целом я убежден, что мой труд воспринят здесь, как и в Германии, дружелюбно, хотя в Англии большая часть не признает его, по крайней мере публично. Как раз во время недавнего празднования рождества Христова я вынужден был вновь распутывать хитросплетения отвратительнейших интриг, о которых Вы даже не имеете представления… Положение вещей таково, что едва владею собой».