Несмотря на свой высокий статус, братья не были избалованы. В то время как их сестрам преподавались в основном такие «женские» дисциплины, как ведение домашнего хозяйства, в образовании мальчиков особое внимание уделялось иностранным языкам. Фердинанд-отец сам вырос в Испании, его жена — в Венгрии. Кроме родных языков родителей мальчикам еще преподавался немецкий — язык их родины, позже — латынь, язык образованных людей. Они также могли объясниться на французском, итальянском и чешском. Вскоре отец посылает двух старших сыновей в Нидерланды — ко двору своего старшего брата, императора Карла. Думал ли Фердинанд-старший о том, какие искушения ожидают его сыновей, когда они вылетят из строгого родительского гнезда в мир, полный соблазнов? В Нидерландах братья впервые познали неведомые им ранее радости жизни — пиры, вечеринки, танцы, женщин.
Юноши с изумлением рассматривали разряженных фавориток придворных аристократов, которые сидели за столом рядом с законными женами своих любовников. Они густо краснели при виде смелого декольте, которым дамы пытались привлечь внимание неопытных юнцов. Вместо простых блюд, к которым они привыкли дома, здесь к столу подавались изысканные деликатесы и редкие вина. Последним Максимилиан и Фердинанд были не силах противиться — это помогало им преодолеть скованность при общении с женским полом. Вскоре оба юноши стали отцами внебрачных детей. Особенно безудержно предавался при дворе дяди-императора плотским утехам старший Максимилиан. Его младший брат Фердинанд официально признал отцовство только одного внебрачного ребенка — дочери Вероники.
Вскоре до ушей отца-короля дошли слухи об образе жизни сыновей. Он начал слать сыновьям настойчивые увещевания и призывать вести себя более скромно и достойно. Слова отца сильнее подействовали на Фердинанда, у которого с отцом были более доверительные и теплые отношения, чем у его брата.
Фердинанд с годами превратился в интересного привлекательного мужчину, по которому вздыхала не одна княжеская или графская дочка. Но никто не смог завоевать его сердца, а отец пока не торопил среднего сына с женитьбой, так как он не был наследником короны. Доподлинно неизвестно, где произошло первое знакомства Филиппины со своим будущим мужем — эрцгерцогом Фердинандом. Теоретически самая первая встреча молодых людей могла произойти во время очередного рейхстага, проходившего в Аугсбурге в 1547–1548 годах, куда молодой Фердинанд мог приехать в составе свиты своего дяди императора Карла V, наверняка император встречался с Вельзерами в связи с финансовыми вопросами. Но вероятнее всего, они впервые встретились в 1556 году в замке Брежнице в Богемии, который принадлежал родной тетке Филиппины — Катарине. Вдовая тетка не жила затворницей, а, наоборот, была радушной хозяйкой, часто принимала у себя гостей из высшего света и сама наносила визиты. А Фердинанд, выполняя административные поручения отца в Богемии, по дороге часто заезжал в замок.