Через 42 дня путешествия «Ястреб» прибыл на Мартинику. Там капитан корабля неожиданно заболел, и Жером принял на себя командование. Он вышел в море 29 ноября 1802 года в направлении острова Сент-Люсия, но через два дня вынужден был возвратиться из-за свалившей и его болезни. Жером с радостью высадился на Мартинике и занялся лечением, лучшим способом которого были, как он считал, бутылочка доброго вина и компания хороших друзей. Однако приказы Наполеона адмиралу Вильнёву, командовавшему эскадрой, были строги и конкретны: Жером должен плавать, а не прохлаждаться на берегу. И он снова вышел в море 12 января 1803 года, пойдя в направлении Гваделупы, где французские корабли простояли с десяток дней. Как же надоели адмиралу навязанные ему «туристы», которых приходилось «катать», гоняя корабли от одного острова к другому! Драгоценная жизнь младшего брата Наполеона, за которую Вильнёв отвечал головой, вынудила адмирала искать повод для как можно более быстрого возвращения во Францию.
Но Жером планировал для себя совершенно другое. Конечно, он тоже хотел вернуться во Францию, но не прямой дорогой, а через Новую Англию, Филадельфию, Нью-Йорк и Бостон. Сколько новых приключений ждало его там! 31 мая он отправил свой «Ястреб» во Францию, а сам погрузился со всей своей развеселой компанией на американское судно. Фактически это было дезертирство с военного корабля, и любой другой офицер был бы сурово наказан за подобное самоуправство. В адмиралтействе началась паника: не дай бог, этот Жером еще попадет в плен к англичанам…
Маленькое «войско» высадилось в Норфолке (штат Вирджиния) 20 июля 1803 года, а 27-го прибыло в Вашингтон, где Жером был принят президентом страны Джефферсоном. Затем Жером потребовал к себе французского посланника Пишона. Приказам брата Наполеона не противятся, и Пишон вынужден был повиноваться. Жером информировал его о том, что решил зафрахтовать новое судно за счет французского консула в Филадельфии. Пишон быстро подсчитал, что это обойдется ему в 10 тысяч долларов, но, к счастью для него, Жером быстро изменил свои намерения. В это время он связался с неким Барне, репутация которого была не блестящей, и отбыл в Балтимор (штат Мэриленд).
* * *
В Балтиморе Жером находился до конца октября 1803 года. Там он вел активную светскую жизнь, посещая приемы и тратя деньги налево и направо. В это время в порт зашел французский фрегат «Преследующий», сумевший ускользнуть от английского наблюдения. Для посланника Пишона это был счастливый случай, чтобы попытаться отправить беспокойного и слишком уж дорогостоящего Жерома во Францию. По словам историка Десмонда Сьюарда, страсть Жерома к удовольствиям «стала притчей во языцех в Соединенных Штатах».