Директор фактории Карон беспрекословно исполнил приказание и принялся срывать здания, дома и магазины. Это повиновение спасло голландцев. Японское правительство смягчилось и перевело факторию с острова Хиранда в Нагасаки. Для этого в гавани города был сооружен искусственно небольшой островок Десима, сделавшийся знаменитым в истории голландского поселения в Японии. На этом островке, с истинно фламандским терпением, голландцы продержались более двухсот лет, до начала сношений с Японией европейцев в 1853 г.
С переводом фактории в Нагасаки закончился золотой период голландской торговли. Торговые привилегии голландцев значительно сокращены, самая жизнь их в Японии, в результате подозрительности японского правительства, стала исключительно тягостной. Несмотря, однако, на это, Ост-индская компания не хотела лишиться выгодной монопольной торговли и постоянно предписывала своим резидентам на Десиме подчиняться беспрекословно всем японским требованиям. Между тем, требования эти были очень тяжелы и оскорбительны для европейцев.
Островок Десима (по-японски Десима Матсу — «улица передового острова») представлял песчаную отмель в Нагасакской бухте, соединявшуюся с городом небольшим каменным мостом. Весь остров, напоминавший раскрытый веер, длиною в 182 м и шириною в 75 м, был окружен высоким деревянным забором, не позволявшим видеть происходившего в городе и бухте. В конце моста, соединявшего Десиму с городом, были ворота с караульным домом. Здесь помещалась главная стража «мом-бам» (стража ворот). Она бдительно следила за всеми входящими и выходящими о острова. На северной, обращенной к морю стороне находились так называемые «водяные ворота». Они открывались во время стоянки голландских судов, приходивших из Батавии. У этих ворот находилась особая стража «фана-бам» (корабельная стража), следившая за нагрузкой и выгрузкой голландских кораблей. В нескольких метрах от острова поставлено было в воде тринадцать высоких столбов. На них прибили доски с приказами губернатора, запрещавшими, под страхом строгого наказания, приближаться к острову посторонним лодкам и судам. У ворот, которые вели в город, также были вывешены приказы и распоряжения, касавшиеся и жителей Десимы, и японцев, посещавших остров.
На этом-то небольшом пространстве жили начальник фактории, или директор, и пятнадцать-двадцать человек служащих компании. Тут же были магазины и службы. Вдоль всего острова проходила единственная улица. В конце ее на небольшой площадке развевался голландский флаг. Ни один голландец не имел права выходить из Десимы без особого разрешения главного пристава острова. Этот полицейский офицер имел высший надзор за факторией. Он наблюдал за порядком, заботился о доставлении необходимых припасов, наблюдал за продажей товаров, выдавал пропускные билеты, чинил суд и расправу над японцами и голландцами. Японское правительство обзавелось целым штатом переводчиков-японцев (до 150 человек). Они изучили голландский язык для надзора за обитателями фактории и облегчения сношений их с местными купцами. Все здания, выстроенные голландцами на острове, считались принадлежащими Нагасаки; управление городом брало с голландцев огромную плату, которую могло изменять по своему усмотрению.