Смерть Альбрехта I имела негативные последствия для могущества Габсбургов. Реализовать свою мечту о создании единого мощного королевства с крепкой наследственной властью Альбрехт не успел. После смерти короля ни одному из его сыновей не удалось добиться римско-германской короны: курфюрсты слишком опасались дальнейшего усиления Габсбургов. Династия оказалась если не отброшена на вторые роли (после Рудольфа I и Альбрехта I это было уже невозможно), то по крайней мере вновь стала лишь одним из нескольких могущественных родов, боровшихся за власть и доминирование в Центральной Европе. Кроме того, владения Габсбургов на юго-западе Германии пришли в упадок, что способствовало концентрации усилий рода на укреплении своих позиций в Австрии, которая теперь уже окончательно стала главной опорой династии.
После смерти Альбрехта I его сыновья, австрийские герцоги Фридрих Красивый и Леопольд, пытались бороться за германскую корону, но неудачно: от нее Габсбургов оттеснили вначале герцоги Люксембурга, а затем баварская династия Виттельсбахов, глава которой Людвиг IV в 1322 году разбил Фридриха и Леопольда в битве у Мюлльдорфа. Выбор Альбрехтом I имен для своих сыновей не случаен: Фридрихами и Леопольдами были многие Бабенберги, и, называя собственных потомков в честь представителей первого австрийского герцогского рода, Габсбург хотел символически породниться с Австрией, завоеванной его отцом.
В 1330 году, после смерти невезучего и довольно бесцветного Фридриха Красивого, власть в Австрии и Штирии перешла к следующему из сыновей короля Альбрехта — Альбрехту II, вошедшему в историю под двумя прозвищами — Хромой и Мудрый, оба из которых были вполне заслуженны. Хромота Альбрехта была вызвана сильнейшим полиартритом, ставшим, очевидно, следствием какого-то инфекционного заболевания. Что же до мудрости, то о ней свидетельствовала не только стойкость и самоирония, с которыми Альбрехт переносил свой мучительный недуг (временами он вообще не мог передвигаться самостоятельно), но и политика герцога, превратившего Австрию из набора феодальных ленов в единое и достаточно мощное государство. Альбрехт II унаследовал земли Габсбургов после смерти старшего брата и первое время правил вместе с младшим братом Оттоном, который сначала вытребовал у старших братьев долю доходов с австрийских земель, а в 1330 году также был провозглашен герцогом Австрии.
Еще в 1324-м Альбрехт женился на Иоганне, дочери последнего графа Пфирта Ульриха III, таким образом присоединив к владениям Габсбургов еще одну область в Эльзасе.