Эдвард был очень непослушным ребенком, кумиром его был брат Джимми, шестью годами старше Эдварда. Джимми был членом банды подростков из семей "бывших" и "бывших" зачастую и в имущественном смысле, так как богатство этих семей осталось в прошлом, банда терроризировала округу, причем террор был самым настоящим и привел он к тому, что Джимми остался изуродованным на всю жизнь – в одной из ночных схваток кто-то из защищавшихся "гопников" выстрелом из ружья снес ему половину лица. Нравы на Юге вообще разительно отличались от таковых на Севере, это с присущим ему мастерством описывал еще Марк Твен. Да и сам "полковник" в своих мемуарах вспоминает случаи вроде того, как друг сделал замечание другу по поводу положенных на спинку кровати ног в грязных ботинках, следствием чего стала немедленная дуэль на охотничьих ружьях. Выстрелив одновременно закадычные друзья уложили друг-друга наповал. Другой друг, убивший лучшего друга по поводу, мало чем отличавшимся от грязных ботинок, на вопрос, зачем он это сделал, ответил: "Если бы я не выстрелил, я не смог бы здесь больше жить. Меня бы никто не понял. Гораздо легче было убить или быть убитым."
Джимми чудом выжил, но после этого происшествия Эдварда, в возрасте всего восьми лет, отправили за океан – он был помещен в закрытую частную школу в Англии. Как утверждается, некоторые из его друзей по этой школе в дальнейшем стали членами так называемого Круглого Стола, организованного небезызвестным Сесилем Родсом.
В 1870 году умерла мать и отец вернул сына домой. В четырнадцать лет ему выдали путевку в жизнь – жизнью оказались частные школы в Вирджинии, а затем в Коннектикуте. Отец Эдварда Манделла Хауса жил и умер англичанином, однако его сын родился американцем и, что чрезвычайно важно, американцем-южанином, "янки из Коннектикута" откровенно презиравшим. В первой же школе на "рабовладельца" немедленно наехали старшие мальчики. Дедовщина это ведь отнюдь не русское изобретение и существует она в любом закрытом сообществе не только мальчиков, но и девочек. Новичку попытались указать на его место в школьной иерархии. Ответом на это стал некий "инцидент". История умалчивает в чем именно инцидент заключался, но результатом его стало то, что Эдварда больше никто и никогда не трогал. В этом нет ничего удивительного, если учесть, что в багаже, который четырнадцатилетний ученичок таскал за собой из школы в школу, находились револьвер и охотничий нож.
Таким было детство будущего "делателя королей". Как как-то заметила обожавшая сорванца нянька, старая суеверная негритянка: "Тебе удалось остаться целым и невредимым только потому, что ты седьмой сын седьмого сына."