Хотя Брюс имел некоторый успех, исполняя детские роли в фильмах, он стал предводителем школьной группировки, объединенной антибританскими настроениями. Китайцы ненавидели британцев почти так же, как и японцев. Китай долгое время находился в колониальной зависимости от Великобритании, и потому такие недобрые чувства имели глубокие корни.
После окончания долгого и утомительного учебного дня все недовольство направлялось против британских учеников соседней школы имени короля Георга Пятого. Брюсова банда обычно бежала к соседней школе и выкрикивала оскорбления, адресованные прогуливающимся за оградой британским ребятам. Дело заканчивалось дракой. И хотя британцы были крупнее и обычно давали прикурить маленьким китайцам, Брюс никогда не признавался в том, что его банда потерпела поражение.
Драки обычно продолжались до тех пор, пока одна из сторон не побеждала или на место происшествия не прибывала полиция. Телефонные звонки и визиты из полиции стали обычным делом в доме Ли. Когда отец поздно вечером возвращался домой из театра, Брюс обычно прятался под одеялом, притворяясь спящим, чтобы избежать наказания. Мать же Брюса, как правило, «забывала» сообщать отцу об очередных неприятностях. Чтобы спрятаться от глаз полиции, драки проводились на крышах домов — самых больших открытых местах, которые можно было найти в Гонконге. Когда подбитый глаз или иная травма не давали возможности Грэйс Ли покрывать своего сына, отец Брюса, поняв, что творится, приходил в ярость и пытался ограничить свободы сына различными способами. Но он не так уж часто бывал дома, чтобы проследить за исполнением своих наказов.
Последствия холодных отношений между отцами и сыновьями были раскрыты и описаны поэтом и писателем Робертом Блаем. Мальчики обычно реагирует двумя способами: они либо становятся подавленными и уходят в себя, либо превращаются в «честолюбцев», с твердым намерением достичь в своей жизни намного больше, чем достигли их отцы, Хотя отец Брюса учился технике тайцзи только эпизодически, он овладел искусством рукопашного боя и при этом был популярным актером. Итак, будущее Брюса в определенной мере определилось еще в раннем детстве.
Все члены семьи в своих воспоминаниях подтверждали, что основные аспекты характера Брюса — его импульсивность, доброта, честолюбие и юмор — сформировались рано. Все эти аспекты проявлялись на протяжении всей жизни.
После того как беспрерывные бесчинства привели к исключению Брюса из колледжа Ля Саль, его родители вьнуждены были беседовать с рядом настоятелей школ, пока не определили сына в эксклюзивный колледж