Вернувшись домой, Волтерс по свежим впечатлениям написал и осенью того же 1933 г. издал в Берлине книжку «Специалист в Сибири». Это дало повод другому работавшему в СССР немецкому архитектору, знаменитому Ханнесу Майеру, коммунисту, остававшемуся в СССР до 1936 г., назвать Волтерса в «Правде» «вовремя не разоблаченным шпионом».
Волтерс возвращается в Германию уже при нацистском режиме, к которому, в отличие от своего близкого друга Альберта Шпеера, особых симпатий не испытывает. По книге хорошо видно, что он свободен как от социалистических, так и националистических предрассудков любого рода. Его отношение к людям, определяется только их личными качествами и ничем иным.
Дальнейшая судьба Волтерса совершенно удивительна. Вернувшись в Берлин, он до 1937 г. проработал в Имперском управлении железных дорог, занимаясь проектами перестройки вокзала Цоо.
В 1937 г. Альберт Шпеер, получивший пост главы Генеральной строительной инспекции и фактически ставший главным архитектором. Рейха, пригласил Волтерса на роль своего заместителя. Как раз тогда Шпеер занялся проектами реконструкции Берлина и превращения его в новую столицу империи «Германиа». Вплоть до конца войны Волтерс был ближайшим сотрудником Шпеера. Он занимался градостроительным проектированием главной трассы нового Берлина — оси «Север — Юг», издавал книги об архитектуре Третьего Рейха и о творчестве Шпеера. Во время войны он в качестве высокопоставленного сотрудника «Организации Тодта», занимавшейся военным строительством на оккупированных территориях, еще раз побывал на советской территории. В 1943 г. Волтерс стал руководителем «Рабочего штаба по восстановлению немецких городов». Весной 1945 г. он по поручению Шпеера совершил путешествие по Германии, организуя в разных городах проектные бюро, которые должны были по планам Шпеера заняться восстановлением и реконструкцией разрушенных немецких городов после войны под его, Шпеера, руководством.
Однако Шпеер оказался на скамье подсудимых в Нюрнберге и получил 20 лет тюрьмы. Волтерс уехал в свой родной город Кёсфельд, где занимался проектированием зданий, градостроительством и публицистикой вплоть до своей смерти в январе 1983 г. После войны он снова стал совершенно современным архитектором и без всякой сентиментальности, с иронией вспоминал о своем вкладе в нацистскую архитектуру.
Дружба Волтерса со Шпеером продолжалась практически до самой смерти последнего в ноябре 1973 г., хотя следует еще раз подчеркнуть, что в отличие от Шпеера Волтерс никогда нацистом не был. Когда после осуждения Шпеера его семья осталась без средств к существованию, Волтерс организовал сбор средств среди знакомых. Именно Волтерсу мы обязаны появлением на свет знаменитой книги Шпеера «Дневник из Шиандау», опубликованной после его освобождения. Писать заключенный Шпандау было категорически запрещено, но Волтерс подкупил служащего тюрьмы, и тот выносил ему сделанные на кусочках туалетной бумаги записи Шпеера. Когда Шпеер вышел из тюрьмы, Волтерс преподнес ему его дневник в полном и перепечатанном виде.