Говорили, что Каллен построил особняк, чтобы увековечить свой брак с Присциллой. Поначалу, видимо, так оно и было. Однако постепенно положение изменилось. Во всяком случае, брак оказался не таким прочным, как особняк. Хотя Каллен и удочерил старшую дочь Присциллы Ди и дал ей свою фамилию, отношения между отчимом и падчерицей складывались далеко не лучшим образом. Ди не привыкла к суровой дисциплине, поэтому, как рассказывала Присцилла, Каллен часто жестоко порол ее. Другие дети Присциллы — Джек Уилборн-младший и Андрия Уилборн — продолжали жить у отца и лишь изредка приезжали в особняк. Андрия, мягкая и впечатлительная девочка, стала бояться Каллена и в конце концов совсем отказалась навещать мать. Да и сама Присцилла, по-видимому, пробудила в Каллене какие-то темные силы. Она жаловалась друзьям, что ее муж то требовал от нее слишком многого, то вообще не обращал на нее внимания и что они никак не могли найти общего языка. Каллен обвинял ее в супружеской неверности, и однажды, когда она стала отрицать это, избил ее, а в другой раз сломал ключицу. Несколько раз он публично оскорблял и унижал ее. В первые годы супружеской жизни Каллен и Присцилла много путешествовали по Европе и Южной Америке, однако постепенно Каллен стал разъезжать один. В его отсутствие предполагаемые романы Присциллы превратились в нечто большее, чем плод воображения ее супруга.
В августе 1974 года, ровно через шесть лет после смерти Кеннета Дэвиса-старшего и скандальной женитьбы его среднего сына на женщине явно чужого круга, Присцилла подала на развод, после чего Каллен из особняка переехал в мотель. Предстоял сложный и изнурительный бракоразводный процесс. Супруги обвиняли друг друга в обмане и предательстве, но всякий раз, когда казалось, что их тяжба вот-вот разрешится, то одна, то другая сторона находила причину отложить суд. Одновременно происходили и некоторые другие события, которые могли нарушить сложившееся равновесие сил в семействе Дэвисов. Через три месяца после того, как Присцилла подала на развод, младший брат Каллена — Билл Дэвис — возбудил судебное дело против своих старших братьев, обвинив их в сговоре с целью лишить его причитающейся ему доли наследства. Между братьями и раньше довольно часто происходили раздоры, однако на сей раз Билла Дэвиса вывели из себя два обстоятельства. Во-первых, то, что, будучи главой "Камминс сейлз энд сервис", одной из главных дочерних компаний семейной корпорации "Кендэвис индастриз", Каллен Дэвис позволял себе "непомерно высокие и расточительные выплаты и капиталовложения". Во-вторых, Билл возражал против "привлечения персонала и использования банковских операций, вкладов и кредитов компании для получения Т. Калленом Дэвисом личных займов". По словам Билла Дэвиса, компания "Камминс" по вине Каллена превратилась из доходного предприятия в убыточное, а его долг составил 46 миллионов долларов. Более того, Билл Дэвис обвинил Каллена в том, что после смерти отца тот залез в долги, сумма которых составляла не менее 16 миллионов долларов. Но, пожалуй, самым неприятным пунктом предъявленного иска было обвинение Каллена и Кена-младшего в биржевых махинациях с акциями компании "Стратофлекс" с целью уклонения от уплаты налогов. (Это была единственная крупная Компания, акции которой свободно продавались широкой публике.) Обвинение попахивало преступлением и могло повлечь за собой расследование со стороны налоговых органов.