Граф и графиня Бертран с семьёй поселились в небольшом коттедже «Ворота Хата», примерно в одной миле от Лонгвуда. Хотя этот коттедж не отличался комфортабельностью, но семья графа Бертрана тем не менее выбрала его для своего проживания по своему собственному желанию.
В течение того времени, пока Наполеон проживал в коттедже «Брайерс», я не вёл регулярного дневника и, соответственно, могу привести только краткое описание событий. Наполеон в основном был занят тем, что диктовал свои воспоминания Лас-Казу и его сыну, а также графам Бертрану, Монтолону и Гурго. Иногда на лужайке перед домом он принимал посетителей, наносивших ему визит, чтобы выразить своё уважение. Несколько раз некоторые из них, если они на это получали разрешение, удостаивались чести быть принятыми Наполеоном вечером в доме г-на Балькума. Пока он проживал в коттедже «Брайерс», он лишь один раз покинул территорию поместья. Это случилось тогда, когда он, совершая длительную прогулку, вышел к небольшому дому г-на Ходсона, майора пехотного полка. В течение получаса Наполеон с удовольствием беседовал с майором и его супругой, уделив особое внимание их удивительно очаровательным детям. Он постоянно часами прогуливался по тенистым дорожкам и по аллеям поместья «Брайерс». В этих случаях принимались все меры, чтобы никто не нарушал его покоя. Однажды, совершая со мной одну из таких прогулок, он остановился, подняв руку, указал на уродливые мрачные обрывы, окружавшие нас, и сказал: «Вы только посмотрите, каково благородство министров правительства вашей страны! Вот вам пример их великодушия по отношению к несчастному человеку, который, слепо положившись на то, что он так ошибочно принял за их национальный характер, в свой чёрный час простодушно доверился им. Одно время я думал, что у вас свободное общество: теперь же я вижу, что ваши министры смеются над вашими же законами, которые, как и законы других стран, устанавливаются только для того, чтобы притеснять беззащитных и прикрывать сильных, всякий раз когда ваше правительство имеет в виду какую-либо цель».
Как-то от Лас-Каза он узнал, что старый малаец, нанятый г-ном Балькумом на работу садовником, несколько лет назад на своей родине попал в ловушку, был схвачен и перевезён на английском корабле на остров Святой Елены. С корабля он был тайно высажен на берег, незаконно продан как невольник и затем передавался из рук в руки каждому, кто хотел нанять его, но все его заработки в основном присваивались купившим его хозяином. Об этой истории Наполеон сообщил адмиралу, который немедленно дал указание провести расследование; если бы остров остался под командованием адмирала, то вероятным результатом расследования явилось бы освобождение бедняги Тоби из рабства