Проплывая мимо первой из пушек, он входил в самую опасную для него зону. Любая из пушек, установленных в Форте Чарльз, могла поражать суда на расстоянии полумили. Всего их было тридцать восемь, и если навести все орудия на один-единственный корабль, находящийся на расстоянии каких-то несколько сотен ярдов, то они бы точно не промахнулись.
Баннистер продолжал двигаться вперед, минуя пушки одну за другой и напряженно ожидая, не раздастся ли грохот выстрела. До открытого Карибского моря было все ближе и ближе. Находясь сейчас напротив средней части Форта Чарльз, он, наверное, уже начал надеяться, что ему и в самом деле удастся проскользнуть незамеченным. Однако, когда он проплывал мимо четырнадцатой пушки, кто-то в Форте Чарльз заметил его судно и сообщил об этом майору Бекфорду – коменданту форта. Бекфорд тут же поднял тревогу и приказал своим канонирам открыть огонь.
Одна за другой яростно загрохотали пушки Форта Чарльз, раньше никогда не использовавшиеся для боевой стрельбы, От этого грохота содрогнулся весь Порт-Ройал, и его обитатели, должно быть, подумали, что на город напали какие-то враги. Услышав звуки пушечных выстрелов, дежурный офицер, наверное, поднял по тревоге местных ополченцев, и те, похватав мушкеты, бросились к Форту Чарльз. Теперь, когда город был поднят на ноги, Баннистеру оставалось лишь надеяться на то, что ему удастся скрыться в темноте.
Но ему это не удалось.
Пушечные ядра начали настигать «Золотое руно»: сначала одно попадание, затем другое, третье… Однако люди Баннистера затыкали рваные пробоины «пробками», и судно упорно продвигалось вперед. Хотя пушки продолжали грохотать, их ядра вскоре перестали долетать до судна, и через несколько минут «Золотое руно» вырвалось в открытое море. Еще несколько минут – и корабль растворился в стелющемся над морем тумане. К этому моменту корабли военного флота уже наверняка получили сигнал тревоги, однако они не могли сразу же броситься в погоню, потому что все они скорей всего стояли на якоре, а для того, чтобы поднять якорь, требуется определенное время. Вскоре «Золотое руно» вместе со своим капитаном исчезло в морской дали.
Побег Баннистера стал для Молсуорта тяжким ударом, однако губернатор не смог скрыть возникшего у него невольного уважения к этому капитану. В своем письме одному английскому колониальному чиновнику он так высказался о побеге Баннистера: «[Это стало] для меня большим сюрпризом, поскольку я думал, что отсутствие у Баннистера хорошей репутации не позволит ему когда-либо снова вывести это судно в море… Однако он за последнее время потихоньку добился уважения со стороны некоторых людей и сумел хорошо оснастить свое судно во всех отношениях. Это было сделано так искусно, что никто ничего не заподозрил, а иначе у меня появился бы повод взять его под стражу».