Больше, чем само отсутствие Филиппа, Марию волновало то, что она понятия не имела, когда он возвратится. Каких-то определенных сроков супруг не назначил, говоря, что не может заранее предугадать, какая обстановка сложится во Фландрии. К тому же церемония отречения императора от престола была делом сложным и продолжительным. Филиппу предстояло принять участие в церемониальной передаче власти в столицах и главных городах Нидерландов, а затем провести в каждом достаточно времени, чтобы закрепить свой авторитет. Вскоре после прибытия он начал делать попытки научиться говорить по-валлонски. Это был единственный язык, который понимали его фламандские подданные, и если он хотел, чтобы они своего короля не то что любили, а хотя бы терпели, ему следовало на этом языке как-то с ними заговорить, что тоже требовало времени. Для сравнения следует отметить, что за год пребывания в Англии Филипп не сделал ни единой попытки выучить английский.
Марию очень тревожило также и то обстоятельство, что испанцы медленно, но верно покидали Англию со всем своим имуществом. Уезжая, Филипп большую часть своего окружения оставил в Англии: германских и испанских воинов, бургундскую кавалерию, своих лекарей и священников и даже пажей из личных апартаментов, а также основную часть лошадей с конюхами. Но со временем члены его свиты начали один за другим отъезжать, причем, как заметил Мишель, «исполненные стремления не посещать эту страну как можно дольше, а лучше всего вообще никогда». Почти каждый день английские порты покидали корабли с личным имуществом короля и его приближенных. Неприятным симптомом было и то, что в середине сентября Филипп повелел полностью расплатиться со своими английскими кредиторами. Для этого 16 сентября девять военных каравелл привезли из Испании шестьдесят тысяч дукатов для оплаты английским купцам, которые снабжали свиту Филиппа и обслуживающих ее английских слуг. После того как испанская флотилия отбыла (кстати, во Фландрию она везла денег гораздо больше), стало ясно, что дом теперь у Филиппа не здесь, а там, на его новых землях.
Письма Филиппа стали к тому времени краткими и деловыми: Мария должна возобновить мирные переговоры; обеспечить корабли для сопровождения императора в Испанию после его отречения от престола; она должна решить вопрос о коронации Филиппа. Не уточняя сроков, Филипп давал Марии «прекрасную надежду на то, что скоро ее увидит», а когда она предложила приехать «в какое-нибудь место на побережье, чтобы повидаться с ним», он ответил, что, когда она решит приехать, он на это время переедет из Брюсселя в Брюгге, чтобы быть к ней поближе. Однако корабль, который все это время стоял, готовый в любое время суток отплыть в Англию, Филипп отпустил, а 19 октября послал Марии сообщение, что все оставшиеся в Англии члены его свиты, а также воины, пажи и конюшие с лошадьми должны отбыть к нему немедленно. Он объяснил, что эти люди нужны ему, чтобы заменить отбывающую в Испанию свиту императора. После этого в Англии остались только его исповедник, два доминиканских монаха и настоятель часовни. Мария была обижена и рассержена. Она даже повелела снаряжать во Фландрию флотилию, чтобы привезти супруга домой, но прежде чем корабли были снабжены продовольствием и укомплектован экипажами, пришло сообщение, что официальное отречение императора откладывается и Филипп не рассчитывает покипуть Брюссель до ноября.