В мае с началом финальной правки для предоставления рукописи издателю совпала ссора Пикабиа с сюрреалистами: группировка попрекала «старшего товарища» (Пикабиа старше Бретона на 17 лет) коммерциализацией, тягой к наживе, чрезмерным увлечением светскими вечеринками, сотрудничеством с «буржуазной» балетной труппой Рольфа де Маре – и… «Караван-сараем»; сюрреалисты отвергали сам жанр романа (что выглядит иронично в свете последующих «Нади» и «Безумной любви» Бретона и других сюрреалистических романов). Пикабиа же не терпел догматизма и авторитарности Бретона, а также групповой сплочённости и дисциплины складывавшегося тогда движения (в 1924 году выходит «Манифест сюрреализма»); ему претили попытки сюрреалистов вписаться в традицию, отыскивая себе ярких предшественников (Сад, Лотреамон, Рембо), и он считал их ведущие практики – гипнотические трансы и рассказы реальных снов – «надувательством», а свободные ассоциации слов – уже опробованными дадаистами и прежде всего им самим.
В этой перепалке Пикабиа воскрешает излюбленный «рупор» своих идей – «дадаистский» журнал «391». Сюрреалисты отвечают как личными нападками, так и ударами «по касательной» – коллективный «Оммаж Пикассо» от 20 июня 1924 года, где тот провозглашался «творцом беспокойной современности», «вечным воплощением молодости» и «бесспорным хозяином положения», был явной пощёчиной Пикабиа, плохо переносившему чужую славу вообще и растущее преклонение сюрреалистов перед Пикассо – в частности.
Со схожей ревностью Пикабиа наблюдал и за постепенным закреплением сюрреалистов (Бретон, Арагон, Элюар, Бенжамен Пере, Роже Витрак и Жак Барон) в качестве «законодателей мод» в респектабельном издательстве «Галлимар» и журнале «Нувель ревю франсэз», на публикации в которых он метил сам. Своего рода «последним ударом» тут стал в мае 1924 года отказ «Галлимара» и НРФ выпускать отдельным томом сборник критических статей Пикабиа. При том, что он рассчитывал на помощь сюрреалистов в поиске издателя для «Караван-сарая» и в последующем продвижении романа, понятно, что после этой ссоры и этого отказа он начал побаиваться очередного провала, на сей раз с «Караван-сараем».
Помимо того, что на подготовку романа к печати наложились новые проекты Пикабиа – прежде всего масштабный проект «Спектакль отменяется», «инстантанеистский» балет на музыку Эрика Сати для «Шведских балетов» Рольфа де Маре, – своего рода «приговором» «Караван-сараю» стала уже упоминавшаяся готовность Пикабиа ринуться в любую новую авантюру: оборотной стороной такого энтузиазма часто становился отказ от работы, которая велась в тот момент. «Закончить» произведение для него было всё равно что «прикончить» его, да и то, что получалось из «Караван-сарая», несмотря на кропотливую работу, не всегда его удовлетворяло. В полемическом плане эстафету у романа принимала новая серия «391», а в эстетическом – «Спектакль отменяется» и снятая для него с Рене Клером короткометражка «Антракт». Именно они всё больше виделись Пикабиа шансом взять реванш над Пикассо с его балетом «Меркурий» (1924) и над Бретоном с его друзьями-литераторами.