После того как 10 августа 1888 года в Шаффхаузене родилась сестра Германа Анна, семья арендовала новый дом на расположенном в двадцати минутах ходьбы к западу от города крутом нагорье Гайсберг. Там 10 декабря 1891 года появился на свет младший брат Германа, Пауль. Их новый дом, стоявший в окружении лесов и полей, был более вместительным, чем старый. С большими окнами и крышей мансардного типа, он больше походил на французское шато, нежели на швейцарское шале. Герман быстро сдружился с детьми арендодателя. Вдохновленные историями Джеймса Фенимора Купера о приключениях Зверобоя, они играли в американских первопроходцев и индейцев. Герман и его друзья шныряли меж деревьев вокруг расположенного поблизости гравийного карьера и разыгрывали похищение Анны, которая была в их компании единственной «белой женщиной».
Такова была почва, на которой сформировались его счастливейшие детские воспоминания. Герман любил слушать шум океана, которого он никогда не видел, прикладывая ухо к морской раковине, привезенной из дальних странствий родственником арендодателя, странствующим миссионером. Он возводил игрушечные деревянные лабиринты и запускал туда своих питомцев – белых мышей. Когда, в возрасте восьми или девяти лет, он слег с корью, отец вырезал из папиросной бумаги очаровательных кукол, и Герман играл с ними, устраивая кукольные танцы в коробке со стеклянной крышкой. Во время прогулок Ульрих посвящал своих детей в историю прекрасных старых зданий города и объяснял им значение зашифрованных в архитектуре символов. Он читал детям книги, ловил вместе с ними бабочек, учил их названиям деревьев и цветов. Пауль рос активным пухлым карапузом, в то время как Герман, по воспоминаниям его кузины, «мог подолгу смотреть в одну точку, погруженный в раздумья. Он был воспитанным ребенком, всегда сохранял спокойствие, как и его отец». Эта же кузина рассказывала девятилетнему Герману сказки: «Гензель и Гретель», «Рапунцель», «Румпельштильцхен», «которые он очень любил, поскольку имел мечтательную натуру».
Филиппина Роршах, добродушная и энергичная женщина, любила развлекать своих детей старинными народными песнями и превосходно готовила. Любимым блюдом у ребят был фруктовый пудинг с кремом, а каждый год она отправляла всем коллегам своего мужа по жареному поросенку. Собственные родители Ульриха сильно не ладили между собой, и однажды он понял, что они на самом деле никогда не любили друг друга. Так что для него было очень важным создать для своих детей атмосферу домашнего уюта, любви и заботы, которой он был лишен сам. С помощью Филиппины ему это удалось. Над ней можно было подшутить – зажечь бенгальский огонь под ее широкими юбками, что, по воспоминаниям кузины Германа, однажды и случилось, – и она нисколько не обиделась бы, а принялась смеяться вместе со всеми.