2 октября Кокс, Адамс и Итон прибыли в Эдо. Адамс немедленно встретился с некоторыми высшими чиновниками и уведомил их, что новая дарственная на привилегии содержит ряд ограничений, которых не было в предыдущей. В ответ на просьбу пересмотреть условия дарственной он получил категорический отказ. Даже когда Кокс, вмешавшись, добавил, что если англичанам будет разрешено торговать только в Хирадо, то им ничего больше не остается, как упаковать вещи и покинуть Японию, японские чиновники были непреклонны в своем нежелании пересмотреть условия торгового соглашения. В надежде, что все же удастся добиться желаемых результатов, Адамс и Кокс провели при дворе еще несколько дней, но их упорство не принесло плодов, и 15 октября Хидэтада объявил, что его решение ограничить впредь английскую торговлю портом Хирадо является окончательным.
Однако в знак своего особого расположения к англичанам сёгун предоставил торговцам право через их японских посредников распродать те товары, которые к тому времени хранились в других местах, помимо Хирадо. Однако после распродажи всех этих товаров новых поступлений туда не допускалось, и в будущем англичане могли заключать торговые сделки лишь в Хирадо.
Таким образом, несмотря на все усилия Адамса и Кокса, им удалось получить от сёгуна право на сохранение лишь одной маленькой концессии. В Хирадо они возвращались с чувством тревоги за судьбу торговых предприятий английской фактории в Японии. В довершении всех неприятностей 21 октября, когда они ехали по проселочной дороге, из кустов выпорхнула какая-то птица, и лошадь Адамса так резко шарахнулась, что он упал и вывихнул правое плечо. Страдающего от сильной боли Адамса перенесли в ближайший дом и послали за японским костоправом. Адамс был не в состоянии продолжать путешествие и остался на несколько дней до выздоровления в этом доме, а Кокс и Итон отправились дальше. 2 ноября Адамс присоединился к ним в Киото. Ему стало значительно лучше, хотя плечо продолжало болеть, и 4 декабря 1616 года трое усталых и опечаленных путешественников наконец прибыли в Хирадо.
Вскоре после этого Адамс решил прекратить деловые отношения с Ост-Индской компанией. По условиям подписанного 24 декабря 1613 года контракта он обязывался служить компании в течение двух лет, но когда формально срок договора истек, Адамс продолжал свою деятельность в интересах компании, хотя никакого официального продления контракта не было. Однако условия службы устраивали его все меньше и меньше, и в феврале 1616 года он уже просил Кокса уведомить правление компании, что считает свое жалованье недостаточным и если размер вознаграждения не повысят, то он не станет более работать. Наступил октябрь 1616 года, а Адамс все еще не получил от Кокса никакого ответа, и тогда он решил впредь считать себя свободным от обязательств. Поэтому 14 октября 1616 года он написал письмо Якову Спексу, главному торговцу голландской фактории в Хирадо, предлагая голландцам свои услуги. Тогда же он сообщил Коксу, что прекращает службу в английской Ост-Индской компании. Это известие огорчило Кокса, но он сознавал, что не может предложить Адамсу более высокий оклад. Таким образом, 24 декабря 1616 года, через три года и один месяц после поступления на службу в Ост-Индскую компанию, Адамс получил от нее окончательный расчет и снова стал вольным коммерсантом.