После разрыва Элла с детьми переехала обратно в Нидерланды, снова поселившись в доме родителей, а немного позже она сняла квартиру в Арнеме. Несмотря на титул и высокое положение ее отца, у Эллы было не так много личных денег — ей даже приходилось подрабатывать, чтобы свести концы с концами. Ее подруга тех лет, Памела Эвертс, вспоминала: «Хотя Элла действительно происходила из хорошей семьи и ее отец был губернатором в колониях, не забывайте, что он имел шестерых детей, и о каждом нужно было позаботиться. И он не мог особенно роскошествовать даже на две свои пенсии — судьи и губернатора. Ведь последняя должность была скорее почетным титулом, нежели источником доходов. Деньги приходилось считать… Элле посчастливилось, что Одри оказалась таким милым, послушным ребенком, всегда готовым помочь своей маме. Одри была прилежной ученицей и получила хорошее образование. Моя дочь помнит также, что у нее был великолепный музыкальный слух».
В Голландии Одри, уже свободно владеющая английским, которому ее выучил отец, и французским, на котором говорили в Бельгии, где прошло ее детство, заговорила еще и по-голландски. Она посещала школу в Арнеме, где считалась одной из лучших учениц. Возможно, прилежной учебой Одри старалась заглушить свою сердечную боль, недостаток любви в семье. Свободное время она проводила, играя со своими собаками — скотчтерьером и силихемтерьером, которых она позже называла «своими черным и белым талисманами». Она много читала, предпочитая рассказы и сказки о животных, особенно любила «Книгу джунглей» Киплинга.
С детства любящая танцевать, она в 1939 году поступила в балетный класс Арнемской консерватории. Одри занималась страстно, самозабвенно, но ей все равно казалось, что она слишком неуклюжа… Однако благодаря постоянным занятиям ее детская полноватость исчезла, уступив место подтянутости и горделивой, типично балетной осанке. Особенно обращала на себя внимание длинная тонкая шея, которую Одри научилась держать с неповторимым изяществом.
Многие биографы пишут, что Одри несколько лет проучилась в Англии; другие, как, например, та же Памела Эвертс, отрицают этот факт — в Англии юная Одри, конечно, бывала, и нередко, однако лишь в гостях у многочисленных друзей матери, а вовсе не ради получения образования. Лето 1939 года Одри тоже проводила в гостях у знакомых баронессы, тогда Одри видела отца в последний раз. Они встретились на вокзале Ватерлоо, а после он посадил ее на самолет, улетающий в Голландию.
В Европе уже тлела разгорающаяся мировая война, и Элла решила, что в нейтральной Голландии им будет безопаснее, чем в Великобритании — несомненном противнике Германии. Уже скоро время показало, как она ошибалась…