Последние годы жизни Рудольф провел в Вене и Шпайере. С годами он становился все более набожным и сентиментальным. Страдая от артрита, король, ожидая скорой кончины, летом 1291 года отправился в Шпайер, место успокоения королей и императоров Франконского дома. Он мечтал быть похороненным в кафедральной императорской крипте: «Я хочу к другим, в Шпайер, где лежит много моих предшественников, которые также были королями. Сам к ним приеду на коне». Силы покинули его прежде, чем он достиг города, и 15 июля 1291 года он умер в местечке Гермерсхайм. Согласно его желанию, он был похоронен в соборе Шпайера. Надгробие Рудольфа I — наиболее достоверное из дошедших до нас изображений первого габсбургского короля, представляет собой статую пожилого человека в королевском одеянии, с вытянутым лицом, крупным носом и глубокими складками у рта, придающими ему печальное, если не сказать, скорбное выражение. Длинное лицо и большой нос — родовые черты Габсбургов, которые будут передаваться из поколения в поколение.
Несмотря на все усилия Рудольфа, путь Габсбургов наверх не был ни легким, ни быстрым. Его сыну Альбрехту пришлось ждать после смерти отца целых семь лет, пока он занял римско-германский трон. Правда, после того как вымерли все Пржемысловичи, ему удалось посадить на чешский трон своего сына Рудольфа, однако это был всего лишь короткий, меньше года длившийся эпизод, сопровождавшийся к тому же постоянными столкновениями с оппозиционной знатью. Альбрехт, впрочем, пытался во что бы то ни стало спасти чешский трон для своего рода, однако прежде чем ему удалось набрать необходимое войско, он был убит собственным племянником. Это единственное убийство внутри габсбургского дома было, вероятно, организовано извне. По мнению многих историков, за его кулисами стояли некоторые германские князья и, в частности, Мангеймский епископ. Судя по всему, Габсбургов недолюбливали не только в Чехии, но и в Священной Римской империи германской нации.
Рудольф I не был самым выдающимся из римскогерманских императоров и королей. Тем не менее о его правлении часто вспоминали с теплотой. В средневековой хронике Элленгарда говорится, что «при Рудольфе во всех частях Германии царил такой мир, какого она раньше не знала». Мастер интриг и компромиссов, искушенный политик, Рудольф умел смотреть в лицо опасности и стойко переносить испытания. Он укрепил расшатавшееся здание империи и, главное, заложил основу будущего могущества Габсбургов, сделав их одними из вершителей судеб Германии и Европы. О том, как оценивали роль Рудольфа I последующие поколения, свидетельствует замечание Наполеона, говорившего о себе: «Я — Рудольф Габсбург своей династии».