В самых недоступных, а также и самых живописных горах Саксонии он возводит замок своего сердца, любимейшую свою крепость Гарцбург; вырастают замки Вигунсштейн. Мозбург, Засенштейн, Шпатенберг, Гаймонбург, Азенберг.
Саксонские бароны всполошились. На совете в Вормслебене маркграф Оттон Нордгеймский сказал о Генрихе: "Он настроил огромное множество неприступных крепостей в наших краях, укрепленных самой природой, и расположил в них крупные гарнизоны своих слуг, вооруженных до зубов. И эти крепости будут служить не против неверных славян, опустошающих наши приграничные земли, а против нас, что вы все вскоре почуете на себе.
Имущество наше крадут и утягивают в крепости, вашим дочерям и женам королевские министериалы-фамулюсы навязывают преступные связи. Они заставляют служить себе ваших рабов и ваш рабочий скот, а вас самих – нести на своих благородных плечах всяческие тяготы. Но когда я подумаю, что еще ждет нас впереди, то перечисленное кажется мелочью! Ведь он имеет намерение лишить нас не части, а всего нашего имущества и раздать его этим пришельцам, а нас, свободных людей, принудить служить у них рабами". Эта речь записана в истории клирика Бруно. И в анналах монаха Герсфельдского монастыря Ламберта читаем то же самое: "Между тем размещенные в крепостях королевские слуги взваливали на люд невыносимое бремя. Они средь бела дня крали все, что находили на полях и в жилищах, требовали необычных и тяжелых платежей и взносов за пользование полями и лесами, часто под предлогом неуплаты десятины они угоняли целые табуны. Ежели кто-нибудь возмущался сим злом и осмеливался облегчить боль души жалобой, то оказывался брошенным в тюрьму, как преступник против воли короля, и не мог он выбраться из тюрьмы до тех пор, пока не выкупал свою жизнь ценой всего своего имущества".
На все жалобы Генрих отвечал, что он действует в согласии с законом о неуплате десятины. И отпускал при этом шуточки: де, нельзя до конца познать родную землю, не побывав в ее тюрьмах.
Саксонцы жаловались: "Нас вынуждают платить за воду, которую мы пьем, за дрова, которые мы собираем в наших лесах". Издавна за это не платили.
Считали своим, данным от бога. Незнамо откуда взялся король, заявил: это мое! Выдумал какой-то поземельный королевский налог.
Пока императорами были представители Саксонской династии, они не трогали Саксонию; Генрих же добрался до нее. Перенес столицу в Гослар, строил бурги, обижал баронов и графов, обиды с каждым годом умножались, клирик Бруно в своих записках жалуется, что не в состоянии даже перечислить всех обид, ибо "не хватило бы ни памяти, ни приспособлений для писания".