После тридцати профессиональных матчей Тони пришлось бросить спорт из-за травм, и он стал работать в доках, а когда его оттуда уволили из-за астмы, Долли помогла ему устроиться в местную пожарную бригаду. Со временем он дослужился до капитана, а свое боксерское прошлое увековечил, открыв на пару с женой таверну под названием «У Марти О’Брайена». Долли, девушка образованная и с сильным характером, пользовалась заметным авторитетом в округе и даже возглавляла местное отделение Демократической партии, а на жизнь зарабатывала тем, что делала на дому подпольные аборты, за что ее не раз арестовывали и даже дважды судили. Этот своеобразный жизненный парадокс – за деньги можно делать то, что запрещено религией и государством, – сильно повлиял на юного Фрэнки, который навсегда уяснил себе простую мысль: тот, у кого есть деньги, имеет право делать все.
Фрэнки рос обычным мальчиком из итальянской колонии, то есть хулиганом и сорванцом, не ведающим других авторитетов, кроме обожаемой – и обожающей его – матери. Драки, мелкие кражи и прочие опасные шалости заполняли дни, не оставляя времени на школьные уроки: впрочем, Фрэнки был очень осторожен и всегда старался беречь одежду, купленную ему матерью, – таких красивых костюмов больше не было ни у кого в районе. В старшей школе Фрэнки не проучился и пятидесяти дней, когда его исключили за плохое поведение, и на этом он счел свое образование законченным. Долли удалось пристроить сына курьером в редакцию местной газеты The Jersey Observer — работа редакции так впечатлила мальчика, что тот возмечтал стать репортером. Однако редактор доходчиво объяснил Фрэнки, что ему, мягко говоря, не хватает образования. Тот не обиделся – и немедленно поступил в школу секретарей, где выучился машинописи и стенографии. Скоро мечта сбылась: его спортивные репортажи – а Фрэнки, верный сын своего отца, был заядлым посетителем боксерских матчей – стали появляться на страницах газеты.
Однако у Фрэнка было еще одно увлечение: он с детства любил петь. Уже с тринадцати лет он выступал по местным барам с популярными песенками, аккомпанируя себе на укулеле – маленькой гавайской гитаре. Мальчишка пользовался успехом – даже среди голосистых от природы итальянцев Фрэнк выделялся какой-то необыкновенной проникновенностью и мягкостью пения. Побывав на концерте Бинга Кросби, Фрэнк окончательно решил, что станет певцом. Уже в семнадцать лет его приглашали выступать на радио, а потом – не без помощи Долли – Фрэнки взяли вокалистом в местное трио The Three Flashes,