После трех или четырех лет, прожитых в доме на Гайсберге, Роршахи вернулись в город. Теперь их место жительства располагалось неподалеку от крепости Мунот, поближе к школе, в которую ходили дети. Герман был активным, хорошо катался на коньках. Одним из любимых развлечений детворы было коллективное катание на санках: дети связывали свои сани вместе в длинную линию и скатывались с горы рядом с крепостью или катались по широким улицам в городе, пока там не становилось слишком много автомобилей. Ульрих написал пьесу, которую исполняли на верхней террасе Мунота, а его дети Анна и Герман были в числе актеров. Однажды его наняли, чтобы создать новый дизайн для флага Шаффхаузенского клуба, и дети отправились исследовать окрестности в поисках диких цветов, которые нужны были ему в качестве моделей. Потом они с восторгом смотрели на флаг, расшитый по его дизайну и раскрашенный в цвета принесенных ими маков и васильков. Герман, со своей стороны, с ранних лет проявил талант в рисовании пейзажей, растений и людей. Наполненное резьбой по дереву, вырезанием из бумаги и картона, шитьем, чтением романов и пьес и уроками архитектуры, его детство было очень творческим.
Летом 1897 года, когда Герману было двенадцать, его мать Филиппина заболела диабетом. Инсулин в ту пору еще не был изобретен, и она скончалась через четыре недели, которые провела прикованной к постели, страдая от мучительной неутолимой жажды. Семья была опустошена. Одну за другой Ульрих нанял нескольких домработниц, чтобы вести хозяйство и присматривать за детьми, но ни одна из них не подошла. С презрением дети отнеслись к женщине, которая выставляла напоказ свою религиозность и вела с ними разговоры только на эту тему.
Однажды вечером, незадолго до Рождества 1898 года, Ульрих вошел в комнату, где играли дети, чтобы объявить: скоро у них будет новая мама. Не кто-то со стороны, а их тетя Регина. Ульрих решил жениться на одной из младших сводных сестер Филиппины, которая была крестной матерью Германа. Герман и Анна ездили на каникулы к ней в Арбон, где у нее был маленький магазин тканей и текстиля. Ульрих сказал, что на Рождество она приедет в Шаффхаузен с визитом.
Анна начала кричать, а маленький Пауль расплакался. Четырнадцатилетний Герман остался спокоен и утешал младших. Мы должны подумать об отце, говорил он, у него ведь в буквальном смысле нет жизни, нет счастливого дома, куда он мог бы вернуться после работы. Конечно, он не хочет видеть в доме всех этих нянечек, которые пытаются превратить его отпрысков в маленьких лицемеров и ханжей. Все будет хорошо, утешал Герман.