На девятом году жизни Филиппа постигла тяжелая утрата: умерла его тетка Амелия, женщина, заменившая ему мать, первая женщина, которую он любил, и единственная — которую он любил целомудренно. По прискорбному стечению обстоятельств, в это самое время Филипп находился в Шалоне, куда отправился вместе с Гастоном за его невестой, Клотильдой де Труа, племянницей графа Шампанского. А когда они вернулись домой, то застали траур во дворце и безутешно плачущую Амелину. В общем, невеселая получилась у Гастона свадьба, и тогда Филипп в первый и последний раз видел в глазах у кузена слезы. Сам же он никак не мог поверить в происшедшее, все это казалось ему каким-то кошмарным сном. И только на следующий день, проснувшись и не увидев склоненного над ним лица графини Амелии, которая обычно будила его по утрам, он наконец осознал страшную истину, понял, что больше никогда не увидит свою маму, и горько оттого разрыдался…
А год спустя ушел из жизни еще один близкий родственник Филиппа — родной брат его матери, Людовик VI Галльский. Король Людовик царствовал недолго и умер бездетным, и после его смерти Филипп, как единственный потомок Изабеллы Кантабрийской, первой жены короля Робера II, унаследовал графство своей бабки и стал одним из могущественнейших феодалов Испании. А кроме того, поскольку новый король Галлии, Робер III, был еще молод и не имел детей, Филипп, пусть и временно, получил титул первого принца королевства и наследника галльского престола. Придворные стали именовать его не иначе, как «ваше высочество», и делали это, несомненно, в пику Гийому и Роберу, к которым, несмотря на их титулы монсеньоров, обычно обращались просто «сударь». Старшие братья, понятно, неистовствовали, снедаемые завистью и досадой. Герцог же воспринял известие о том, что его семья обзавелась первым принцем Галлии, с полнейшим безразличием, как будто это его вовсе не касалось.
Со смертью дяди Филипп обрел материальную независимость от отца. Зная о враждебном отношении герцога к младшему сыну, Людовик VI назвал в числе своих душеприказчиков двадцатилетнего Гастона д’Альбре, поручив ему управление Кантабрией до совершеннолетия Филиппа. Гастон исполнял обязанности опекуна добросовестно и регулярно передавал в распоряжение своего подопечного часть прибыли от графства, а оставшиеся средства, все до единого динара, вкладывал в развитие хозяйства, по-братски оплачивая издержки из собственного кармана. Благодаря такой предусмотрительности со стороны покойного короля, Филипп уже в десять лет стал вполне самостоятельным человеком и даже смог организовать при дворе отца небольшой собственный двор. Это внесло заметное оживление в размеренную полусонную жизнь Тараскона — древнего родового гнезда маркграфов Испанских, куда герцог переселился из Бордо вскоре после смерти второй жены, надеясь укрыться здесь от жизненных невзгод, желая обрести покой и умиротворение.