В марте 1944 г. Брайон стал парашютистом в войсках Соединенных Штатов. Там он познакомился с Тексом Хенсоном, праправнуком Джозиа Хенсона, который вдохновил Гарриет Бичер-Стоу на написание «Хижины дяди Тома». Брайон написал про Хенсона книгу, «Хозяину, долгой спокойной ночи», она вышла в 1946 г. В ней было приложение про рабство в Канаде и о рабах, которые, как и Хенсон, сбежали оттуда, через три года он получил за нее фулбрайтскую стипендию. Кроме этого, Брайон вынес из службы в армии и еще кое-что: когда в ноябре 1944 г. его перевели в Канаду, он стал изучать японский. И хотя война и кончилась до того, как Брайон и его коллеги могли применить свои знания на практике, знакомство с японской каллиграфией оказало большое влияние на манеру его живописи.
В 1949 г. на фулбрайтскую стипендию Брайон снова приехал во Францию, чтобы изучить историю работорговли. К сожалению, во время войны при бомбардировках были уничтожены многие документы, которые хранились в университете Бордо. Он снова приехал в Париж, где встретился с Полом Боулзом. Боулза он знал еще по 1930-м годам в Париже, того знал и Джон ля Туш. Весной 1950 г. Боулз предложил Брайону поехать с ним в Танжер.
Брайон считал, что арабская культура оказала на него огромное влияние: «Только приехав в 1950 г. в Марокко, я понял, что значит арабская вязь, которая бежит справа налево словно знамена, развевающиеся над армией. Когда я несколько раз написал свое имя справа налево, я увидел на своих картинах танцующие марокканские толпы. Мне казалось, что они пляшут под музыку Джеджука, горной деревушки музыкантов-мастеров, которые, и став мусульманами, по-прежнему совершают обряды Пана. Я хотел каждый день слышать эту чарующую музыку и почти треть жизни провел в Марокко, с 1950 по 1973 г». Музыка музыкантов Джеджуки вдохновила влюбленного в нее Брайона открыть ресторан, который он назвал «Тысяча и одна ночь Танжера», в котором всегда, когда он был открыт, играли пятеро музыкантов. Позднее в отеле «Рембрандт» состоялась выставка Брайона, на которой он демонстрировал рисунки пустыни; на этой выставке Пол Боулз познакомил Брайона с Берроузом, думая, что у них найдутся общие интересы, но он ошибся.
Международная зона Танжер была практически маленьким государством, независимым от остальной части Марокко, здесь царило средневековье и очень многие люди жили в нищете. Но эта старая, размеренная честная колониальная жизнь резко изменилась, как только Марокко стала независимой от Франции, а Танжер потерял самостоятельность. Ресторан стал приходить в упадок. Как-то, покупая наркотики, Брайон познакомился с Джоном и Мэри Кук, состоятельной парочкой хиппи. Семья Кук занималась также сайентологией, и все время марокканской войны Брайон жил полностью за их счет у них дома в Алжире. Потом он вернулся в Танжер и снова открыл ресторан, но дело так и не заладилось. Берроуз писал Аллену: «Брайон Гайсин открыл “Тысячу и одну ночь”, теперь там танцует стайка ребят, на которых смотреть-то можно только с жалостью: личики похожи на мордочки хорьков, узкоплечие, зубы плохие, они скорее похожи на команду по боулингу из Ньюарка». Конец наступил в 1958 г.