В 1280-х годах Рудольф I занимался не только своими новоприобретенными владениями, но и родовыми землями Габсбургов в Юго-Западной Германии. В 1281 году ему удалось присоединить ряд ленов во Франш-Конте, а затем подчинить своей власти город Берн и добиться принесения оммажа от пфальцграфа Бургундского. В 1282-м король официально передал Австрию и Штирию в наследственное владение своим сыновьям Альбрехту I и Рудольфу II. Таким образом в Австрии установилось правление династии Габсбургов, которая сохраняла австрийский престол до 1918 года. Как уже было сказано выше, среди забот об исполнении королевских обязанностей Рудольф не упускал из виду своей главной личной цели — обогащения и упрочения своего дома. Так, когда после смерти последнего из Штауфенов герцогство Швабское — прямая собственность короны — попало под власть нескольких князей, Рудольф заявил на него свои права и стал добиваться этого герцогства для своего сына Рудольфа. Из-за этого ему пришлось вести долгую и упорную борьбу с одним из самых могущественных и буйных своих вассалов, графом Эберхардом Вюртембергским, и даже осадить и взять приступом столицу его княжества, Штутгарт.
В Северной Германии Рудольф пользовался весьма малым влиянием, хотя его зять, герцог Альбрехт Саксонский, поддерживал по мере сил и возможностей его авторитет, стараясь соблюдать его постановления о всеобщем внутреннем умиротворении страны, но власть короля здесь была почти неощутимой. Даже те союзы городов и владетельных князей, которые заключались как будто бы для соблюдения мира и тишины в стране, во многих местах были направлены против самого короля. Рудольф даже не пытался вступать в борьбу, которая была вызвана Лимбургским спором о наследстве, и в кельнские усобицы, закончившиеся битвой при Воррингене, которые волновали всю Северо-Западную Германию.
Только однажды, в 1289 году, Рудольфу удалось успешно применить королевскую власть в Тюрингии, где он положил конец полной анархии. За годы безвластия в Германии сложилось целое сословие рыцарей, занимавшихся грабежом беззащитного населения. Они строили свои замки на скалах или в других труднодоступных местах и оттуда нападали на поселян и купцов. Король начал против них войну, прежде всего в Швабии и Тюрингии, где его власть была более прочной. Он сам разъезжал по Германии и разрушал разбойничьи замки. Например, в Тюрингии при нем было взято 66 таких замков и повешено 29 знатных разбойников. Однако в деле обеспечения спокойствия и безопасности в Германии Рудольфу I не удалось достичь многого. Он неоднократно объявлял о введении «земского мира» на территории отдельных племенных герцогств или всей Германии, однако нехватка военных и материальных ресурсов, а также особой энергичности в осуществлении собственных решений, не позволяла ему сломить непокорных немецких князей. Концентрация Рудольфа I на интересах своей семьи и создании Австрийской монархии Габсбургов привела к тому, что для Германии в целом его правление не имело значительного позитивного эффекта. Корыстные стремления Рудольфа понемногу оттолкнули от него всех, и недоверие к нему стало всеобщим. В 1291 году Рудольф I попытался еще при жизни обеспечить избрание королем Германии своего сына Альбрехта I, однако немецкие князья, опасаясь усиления Габсбургов, отказались это сделать.