Магомэ Кагэю, несмотря на такой ответственный пост, не принадлежал к числу японской знати и не занимал какого-либо высокого общественного положения. Кроме того, он не пользовался большим уважением, так как не отличался безукоризненной, честностью. Поэтому нет сомнений в том, что, взяв в жены его дочь, Уильям Адамс не преследовал никаких корыстных целей. По-видимому, он женился по любви. Миссис Адамс оказалась любящей женой и прекрасной матерью. Она родила Адамсу сына Джозефа и дочь Сюзанну. Брак был счастливым. Тем не менее у Адамса от другой японской женщины родился еще один ребенок. Эта женщина жила в Хирадо, в небольшом городке на западном побережье острова Кюсю.
Хотя по воле Иэясу Адамс стал крупным землевладельцем, жизнь сельского жителя его совсем не привлекала. Он заинтересовался торговлей и в связи с этим купил себе дом в Нихомбаси, одном из районов Эдо. (Позднее улица, на которой находился этот дом, была в честь Адамса переименована японцами в Андзин те — «Квартал Штурмана».) Вскоре Уильям стал одним из самых состоятельных и влиятельных людей в Японии, и португальские иезуиты начали беспокоиться, удастся ли им заставить этого англичанина покинуть Японию. Они боялись, что он станет мстить им за тот недружелюбный прием, который они оказали ему и его голландским товарищам по прибытии в страну. Иезуиты опасались также, что Адамс и голландцы, будучи протестантами, попытаются ослабить веру новообращенных в католицизм японцев. Один из отцов-иезуитов в Нагасаки безуспешно предпринимал попытки уговорить Адамса и голландцев покинуть Японию, а иезуит по имени Пасио оставил интересные записи об этом факте.
«Святой отец (по словам Пасио) обратился к старшему из них (Адамсу) и предложил достать ему и его товарищам охранное свидетельство, дающее право выехать из Японии. Святой отец боялся, как бы они своими разговорами и «порочным учением» не сбили еще не совсем окрепшие в католической вере души христиан с пути истинного.
Однако англичанин отказался от этого предложения, ссылаясь на то, что по многим причинам император не даст им такого разрешения. Тем не менее он поблагодарил святого отца, который не упустил также случая указать на всю ложность их учения и на правоту католической церкви, подкрепляя свою речь выдержками из Библии. Но он напрасно тратил время на упрямого еретика, который, не имея специального религиозного образования, но обладая живым умом, пытался защищаться, цитируя те же самые священные источники, которые он, к сожалению, неправильно понимал и интерпретировал. И хотя невозможно было не признать свои заблуждения под напором неопровержимых доводов, приведенных святым отцом, он продолжал упорствовать в невежестве»