Когда Сильвестру исполнилось девять лет, родители наконец обратили внимание на его неправильную речь. Для укрепления мускулов лица мальчик начал учиться играть на саксофоне, после чего его записали в любительский театр при отряде скаутов, чтобы он оттачивал свою речь на сцене. Когда и это не помогло, Сильвестра отвели к психотерапевту. Но поход закончился ничем: вскоре парень забросал камнями чужой автомобиль, превратив его в груду железа. Так он попал на учет в службе по делам несовершеннолетних штата Мэриленд. Все, кто знал в те годы Сильвестра, были уверены, что впереди его ожидает только одно - тюрьма. Ситуацию усугубил и развод родителей, который произошел в 1957 году.
Единственной отдушиной для Сильвестра в детстве было кино. По его собственным словам: "Кино заменяло мне семью, родителей. По-настоящему оживал я по субботам, когда мне разрешалось посещать кинотеатр. И я сидел там с утра до позднего вечера. С особым удовольствием я смотрел фантастические фильмы, например, о Геркулесе и Синдбаде, похожие на те, которые теперь делает Спилберг. Серьезные сюжеты меня не увлекали. Любил смотреть картины с монстрами, гномами, привидениями... Кино стало для меня родным домом. Если бы не кино, то теперь, наверное, я находился бы в тюрьме. Я не знал, куда себя деть, чем заняться..."
После развода родителей Сильвестр и Фрэнк стали жить попеременно в течение года у каждого из родителей. А когда мать мальчиков повторно вышла замуж и переехала в Филадельфию, большую часть времени они стали проводить с отцом. В отличие от младшего брата, которому учеба давалась легко, Сильвестр всегда учился плохо. Не блистал и примерным поведением. Он учился в трех государственных школах и отовсюду его хотели выгнать за злостное хулиганство. То он поджигал контейнеры с мусором, то избивал учеников, то дерзил учителям. Из католической школы в Мэриленде его выгнали за то, что он спрятал под матрацем распятие. В конце концов, когда Сильвестру исполнилось 15 лет, мать позвала его к себе в Калифорнию, где устроила в школу-интернат для трудных подростков Деверекс-Манор в Беруине (год обучения - 5,5 тысяч долларов). Там Сильвестр внезапно увлекся живописью, причем его первые картины произвели хорошее впечатление даже на отца. До этого тот считал старшего сына совершенно бесталанным ребенком (в отличие от младшего, который хорошо играл на гитаре, прилежно учился), а тут расщедрился на похвалу, чего раньше за ним никогда не наблюдалось.
В интернате Сильвестру пришлось взять себе другое имя - Майк, поскольку настоящее уже было достаточно засвечено хулиганскими выходками. Сталлоне увлекся боксом и стал одним из лучших игроков школьной футбольной команды. Там же он впервые по-стоящему "попробовал" девушку. При этом его не остановило даже то, что девица была любовницей самого крутого интернатского ученика, державшего в страхе всю школу. Они заперлись в одной из интернатских подсобок, Сильвестр поимел от девушки все, что требовалось, однако в тот момент, когда он собирался одеться, в помещение ворвался ее разъяренный любовник. Между юношами завязалась такая драка, что стены интерната буквально задрожали. Разнять дерущихся удалось только полицейским, которых напуганные педагоги вызвали к месту потасовки.