После освобождения Франции все загородные замки и городские дома Ротшильдов, за исключением дворца на авеню Мариньи, оказались совершенно свободными даже от следов каких-нибудь произведений искусства. Процесс восстановления коллекций начался немедленно после изгнания нацистов и продолжался в течение долгих лет. Это была захватывающая детективная история.
Новым Шерлоком Холмсом стал Джеймс Дж. Рори-мер, тогда офицер подразделения искусств 7-й армии США, ставший впоследствии директором музея Метрополитен в Нью-Йорке. Он прибыл в Париж сразу после освобождения и немедленно опросил множество людей, которые могли что-то знать о местонахождении исчезнувших произведений искусства. Из толпы якобы посвященных, каждый из которых утверждал, что именно у него есть ключ к разгадке и только он знает, где спрятан бесценный Гойя, Роример выбрал девушку по имени Роз Валланд. Роз была историком искусств и в этом качестве помогла нацистам классифицировать их добычу. Но она была также участником французского Сопротивления и поэтому собирала всю доступную ей информацию о перемещении предметов искусства. Именно она сообщила Роримеру, что все сведения о художественных ценностях и, скорее всего, часть самих этих ценностей находятся в замке Нейшвастейн, около Фюссена, в Баварии.
Когда через девять месяцев пала Бавария, Роример, не медля ни минуты, отправился на джипе прямо в замок. Нейшвастейн был построен Людвигом Баварским (Безумным) в псевдоготическом стиле. Подобно зловещему фантому он возвышался на вершине скалы, создавая живописный фон для продолжения истории. Рори-мер пересек два внутренних двора, связанных запутанными переходами, и поднялся по винтовой лестнице, идеально подходившей для нападения заговорщиков в масках. Наконец он добрался до нужной ему комнаты. Именно здесь был центр, где была собрана вся информации о награбленных Гитлером сокровищах.
Методичные немцы действовали в полном соответствии со своей прекрасной репутацией. Комната была заполнена аккуратно расставленными ящиками с картотеками и регистрационными папками. Нацисты тщательно хранили и использовали каталоги каждого из 203 реквизированных частных собраний. Роримеру, одному из крупнейших экспертов в области искусствознания, потребовался целый день для того, чтобы приблизительно оценить ценность находки. Он обнаружил 8000 негативов и около 22 000 индивидуальных каталожных карточек на конфискованные предметы искусства. Фамилия Ротшильд упоминалась чаще, чем какая-либо другая. Им принадлежало примерно 4000 произведений.