В те же годы судьба свела Броснана с австралийской актрисой Кассандрой Харрис, в девичестве Тиссон. У нее уже были двое детей от первого брака дочь Шарлотта (1972) и сын Кристофер (1973), но это не остановило Броснана. По его словам, все эти годы он тосковал от того, что рядом с ним не было близкого человека, который сумел бы понять его, а тут ему повстречалась Кассандра (они познакомились в Мексике на съемочной площадке фильма про Джеймса Бонда "Только для ваших глаз", где Кассандра играла подругу агента ОО7, а Броснан был всего лишь сторонним наблюдателем). В 1977 году они поженились. По словам Броснана: "Кассандра подарила мне свою любовь и двух детей сразу. Это было сказочное блаженство, мой дом наполнился детскими голосами, а сердце - теплом".
В конце 70-х Броснан снялся еще в нескольких фильмах ("Зеркало треснуло", "Долгая страстная пятница"), но роли у него были настолько крохотными, что их практически никто не заметил. Был момент, когда на их личном с Кассандрой счете оставалось всего лишь 50 долларов, но даже в тот момент жена не позволила Броснану отказаться от актерской профессии и пойти зарабатывать на сторону.
В 1982 году Броснан с семьей переехал жить в Америку, в Калифорнию. Там, благодаря помощи своей жены, Броснан наконец получил свою первую стоящую роль в кино - в телесериале "Поместья Америки". А еще через год Броснан сыграл уже главную роль в телесериале "Ремингтон Стил", который растянулся на 91 серию! Тогда же у них с Кассандрой появился общий ребенок - сын Шон. Но когда мальчику исполнилось четыре года, врачи вынесли его матери страшный диагноз - рак яичников. С этого момента земля под ногами Броснана закачалась. И хотя все последующие годы внешне актер старался не показывать жене, как ему тяжело, в душе он испытывал страшные муки. По его словам: "Вы не представляете себе, как страшно видеть каждый день, как угасают силы любимого человека. Кассандра научила меня думать о смерти как о части нашей жизни. Надеюсь, это поможет мне в свое время принять мою собственную смерть..."
Поскольку Броснану приходилось много ухаживать за больной женой, в кино он в те годы снимался не часто - по фильму в год. На его счету были следующие ленты: т/ф "Нэнси Астор" (1984), "Кочевники" (1986), "Четвертый протокол" (1987), "Таффин", "Обманщики", т/ф "Благородный дом" (все 1988), т/ф "Хейст", т/ф "Вокруг света в 80 дней" (оба - 1989), т/ф "Жертва любви", т/ф "Убийство 101", "Мистер Джонсон" (оба - 1991).
Первый большой успех пришел к Броснану в 1992 году, когда на экраны вышел фильм "Газонокосильщик" Брета Леонарда по Стивену Кингу, где он сыграл доктора Лоуренса, который с помощью сложнейшей компьютерной техники попытался сделать гения из деревенского дурачка. К сожалению, жена Броснана порадоваться его успеху не успела - она умерла за несколько месяцев до этого. Броснан как мог старался сохранить память об умершей супруге. В гостиной их дома в Малибу была установлена урна с ее прахом, над которым висел огромный портрет Кассандры. В спальне продолжала висеть ее одежда, а на туалетном столике стояли косметика и духи, которыми она пользовалась. Кроме этого, Броснан дал клятву, что никогда больше не женится.