В Порт-Артуре существовала небольшая колония иностранцев из Европы и Северной Америки. Это были торговцы, коммерсанты, врачи, преподаватели иностранных языков. Приезжали с гастролями различные знаменитости. Работал в городе даже собственно Американский театр.
При желании в городе «у Желтого моря» можно было и не скучать, но вот жена Рейли Маргарет, наоборот, впала в депрессию. Жизнь в Порт-Артуре как раз казалась ей слишком уж бледной. У нее начались проблемы с алкоголем, а отношения с мужем ухудшились — вроде бы Рейли завел роман с некоей женщиной по имени Анна. Как бы там ни было, но осенью 1903 года они впервые надолго расстались. Маргарет уехала в Японию, потом в Америку, а оттуда — в Европу. Это был первый шаг на пути к их семейной катастрофе.
Есть, впрочем, и другая версия: Рейли специально отослал жену из Порт-Артура, чтобы не подвергать ее жизнь опасности. Он якобы уже тогда знал, что японцы вот-вот нападут на Порт-Артур. Откуда знал? Либо от английской разведки, либо от японской. Поскольку шпионил то ли на тех, то ли на других, то ли на тех и других сразу.
…Но вот наступил 1904 год. 26–27 января (8–9 февраля) японская эскадра атаковала русские военные корабли в Порт-Артуре. Фактически это стало началом Русско-японской войны, хотя формально Япония объявила войну России только 28 января (10 февраля) 1904 года. 17(30) июля началась сухопутная осада Порт-Артура японцами. Она продолжалась 156 дней.
Самая распространенная легенда о порт-артурском периоде жизни Рейли состоит в том, что он умудрился выкрасть планы укреплений города и передать их японцам. Другими словами, именно его «шпионство» стало одной из причин падения Порт-Артура. Причину, по которой Рейли якобы передавал чертежи японцам, часто объясняют так: в 1902 году Великобритания и Япония подписали союзный договор, который гарантировал их «особые интересы» в Китае и Корее. Считается, что договор был направлен, прежде всего, против России, и планы укреплений Порт-Артура Рейли мог выкрасть и передать союзникам-японцам по приказу британской разведки.
Робин Брюс Локкарт утверждает, что Рейли подкупил одного морского инженера и от него получил и скопировал чертежи. Потом он передал их англичанам.
Подругой версии, Рейли был платным агентом японцев.
В английском телесериале «Рейли — король шпионов», премьера которого состоялась в Великобритании в сентябре 1983 года, Рейли (его играет известный актер Сэм Нил) передает эти самые чертежи непосредственно японскому офицеру. Как говорится — из рук в руки.
История с похищенными чертежами встречается сегодня почти в каждом описании биографии Рейли. Но никаких конкретных подтверждений шпионажа Рейли в пользу японцев до сих пор никто обнаружил. Да и вообще непонятно — передавал ли им кто-нибудь планы обороны Порт-Артура. А если и передавал, то какую роль это сыграло в падении города во время Русско-японской войны?