Плантация индиго в Броутоне не приносила прибыли и не могла обеспечить братьев, некогда ее унаследовавших. Луи Валентин Батлер бросил все и уехал в Новый Орлеан, где на протяжении долгого времени был связан с пиратом Джоном Лафиттом, а Миддлтон Батлер занялся торговлей рабами. Торговля африканцами была прибыльной, но закупщикам Миддлтона нередко попадались слабые, болезненные экземпляры, и те из негров, которые выдержали тяготы пути через океан, продавались ниже своей стоимости. Миддлтон оставил этот бизнес, когда Совет Чарльстона приказал ему сбрасывать мертвых негров дальше от берега. Иначе трупы выносило возле Уайт-Пойнта, где чарльстонские аристократы совершали субботние прогулки.
Поскольку Миддлтон Батлер не принимал чьей-либо стороны вплоть до полной победы Американской революции, ему удалось получить триста акров земли, конфискованной у патриотов. В качестве делегата съезда в Филадельфии Миддлтон Батлер выступил за сохранение рабства в соответствующем разделе новой Конституции.
В 1810 году Луи Валентин Батлер захватил «Меркато», испанское судно, груженное серебром, неподалеку от Тампико и купил тысячу акров превосходной земли для посева риса в Броутоне. Лэнгстон Батлер, сын Луи, всерьез поссорился с отцом и переехал к своему одинокому дяде Миддлтону. Луи Валентин приобрел еще две тысячи акров. Деньги на покупку поступили от продажи захваченных у побережья Техаса кораблей. (Хотя Луи Валентин клялся, что это были испанские и мексиканские судна, упорно ходили слухи, что те шли под американским флагом.)
Управляющие Броутонской плантации были вынуждены поддерживать экстравагантные порядки Миддлтона, к которым тот привык в Чарльстоне.
В одно прекрасное утро в 1825 году Луи Валентин Батлер вышел из Галвестона на корабле «Гордость Чарльстона», после чего его никто больше не видел. В тот же год кредиторы Батлера пришли на похороны этого достойного джентльмена, чтобы отдать дань уважения патриоту Америки и добиться от его наследника Лэнгстона Батлера причитающихся им денежных сумм. Лэнгстон продал две сотни рабов, чтобы удовлетворить требования кредиторов, и женился на пятнадцатилетней Элизабет Кершо, единственной дочери богача Эзры Кершо. Внешне малопривлекательная, мисс Элизабет славилась своим благочестием. Ее первенец, Ретт Кершо Батлер, появился на свет в сорочке, зажатой к тому же его кулачком, — обстоятельство, признанное всеми броутонскими гадалками необыкновенным великим предзнаменованием. Чего — добра или зла — никто из них не сказал.
Хотя торговля рабами из Африки была запрещена два десятилетия назад, пароходы с черным «товаром» иногда приставали к пристани Чарльстона, и Лэнгстон Батлер охотно покупал ангольцев, короманти и гамбийцев: жители побережья Африки были устойчивы к лихорадке и знали толк в выращивании риса. Он присоединил к своей плантации еще две тысячи акров земли, приобретенной у полковника Раванеля (тот был в отчаянии после смерти жены и не мог совершить эту сделку с выгодой для себя).