Это оскорбление Вирт так и не смог никогда простить своему бывшему ассистенту.
Зиверс, сначала как генеральный секретарь, а затем как имперский руководитель общества (организационный руководитель) был в курсе всех дел «Аненербе», к тому же Гиммлер доверял ему. Это был хороший стартовый капитал для карьеры внутри СС. Он полагал, что был просто предназначен для того, чтобы заменить Вирта. Устав 1937 года дал ему возможность осуществить свою мечту. Заручившись поддержкой президента (Вюста), Зиверс начал интригу. Он стал распускать слухи, что назначение его на пост почетного председателя было бы логичным шагом в развитии «Аненербе». Вюст, присутствовавший на этих разговорах, подчеркивал, что это было бы не просто логично, но и целесообразно. Даже Райшле, который когда-то благожелательно относился к Вирту, вторил, что прошли все сроки для того, чтобы образумить нынешнего почетного председателя Вирта. К январю 1938 года Вирт сдал последние позиции в «Наследии предков». В это время Вюст совместно с Зиверсом планировали будущую работу «Аненербе», предоставляя свои наброски лично рейхсфюреру СС. Раньше подобные задачи были сферой деятельности Вирта, к которой Зиверса даже не подпускали.
Пик кризиса в «Аненербе» пришелся на май 1938 года. Тогда Вюст и Зиверс написали Вирту нелицеприятное письмо, в котором заявили, что его чудачества противоречили научным и культурным целям рейхсфюрера СС. Авторы письма с «неподдельным» ужасом обнаруживали, что Вирт не понимал ни структуры, ни важнейших задач, ни объема работ, предстоящих «Аненербе». Вюст и Зиверс приходили к уничижительному выводу, что он подменял цели и задачи «Наследия предков» своими собственными научными и исследовательскими интересами. Далее Вирту было даже заявлено, что и свое свободное духовное творчество он должен был согласовывать с руководством СС. В последних строках письма Вюст и Зиверс подчеркивали, что в сложившихся условиях они как представители «Аненербе» наотрез отказались ходатайствовать перед Имперским министерством воспитания и образования о присуждении Вирту научной степени. Не имея возможности продолжать свою работу в рамках «Наследия предков», Вирт теперь потерял всякие надежды и на научную карьеру. Он был подавлен.
Это письмо как никакой другой документ того времени показывало, что Вирт мог продолжить свою исследовательскую деятельность только в одном случае. Он должен был оставить все посты и покинуть «Аненербе». Это шаг он сделал в декабре 1938 года.
Бурные «разборки» между Виртом и новым руководством «Аненербе», как ни парадоксально, фактически никак не отразились на деятельности «Наследия предков». После того как в 1938 году рухнули надежды Вирта создать собственную кафедру в Берлинском университете и получить титул профессора, он отправился в своей дом в Марбурге, где вел жизнь отшельника. Надо подчеркнуть, что он не таил зла на рейхсфюрера и по мере возможности поддерживал с ним контакт. Этому способствовало и то, что, покинув «Аненербе», Вирт все-таки остался хауптштурмфюрером СС, подчиненным лично Гиммлеру. Проведя несколько лет в изоляции, Вирт все же защитил в 1941 году диссертацию и получил звание «профессора — исследователя истории древней символики и религиозности». Этот факт можно было бы не упоминать, если бы после войны не всплыли документы, говорящие о том, что Гиммлер