В XIV в. начался постепенный процесс вытеснения Габсбургов из Швейцарии. Еще в 1291 г. три швейцарских общины, или кантона — Ури, Швиц и Унтервальден (вскоре к ним присоединился также Обервальден), — заключили между собой соглашение о союзе и взаимопомощи. Так возник прообраз Швейцарской конфедерации, благополучно существующей и сейчас. Один из кантонов, Унтервальден, однако, находился под сюзеренитетом Габсбургов, а в остальных династия всячески пыталась укрепить свое влияние. Столкновение интересов швейцарских крестьянских общин, городов и мелких землевладельцев, с одной стороны, и крупных феодалов, каковыми являлись Габсбурги, — с другой, не могло не привести к конфликту. Верх в нем взяли швейцарцы, к концу XIV века практически лишившие династию владений в этой стране. Правда, теряя земли на западе, Габсбурги приобретали их на востоке и юге: так, Альбрехту Хромому удалось завладеть Каринтией, Крайной и Вендской маркой на территории нынешней Словении. (Марка — в средние века относительно небольшое пограничное владение, обычно выделявшееся императором или королем в лен своим вассалам в обмен на службу по охране границ королевства; сама Австрия при Бабенбергах называлась Ostmark — Восточная марка.)
Альбрехт Мудрый был не слишком воинственным правителем — возможно, потому, что из-за болезни не мог командовать войском. Гораздо больше ему нравилось плести дипломатические интриги, заниматься строительством и поощрять — насколько это было возможно в то время — научные изыскания. Так, при нем ученым монахом Иоанном Виктрингским был написан трактат, посвященный истории австрийских земель. Вообще, герцог немало сделал для укрепления единства Австрии, за которой, собственно, при нем и закрепилось официальное название dominium Austriae — «австрийские владения». После Чешского королевства, переживавшего при Карле IV Люксембурге (1346—1378) период небывалого расцвета, Австрия во второй половине XIV века, несомненно, была наиболее экономически сильным и политически влиятельным из государственных образований, входивших в состав «Священной Римской империи».
Наследником Альбрехта II стал один из самых необычных Габсбургов, живших и правивших в эпоху позднего средневековья. Старший сын Альбрехта Мудрого, вошедший в историю под именем Рудольфа Основателя, с юных лет отличался бешеным честолюбием. Он мечтал не только о дальнейшем расширении габсбургских владений, но и о возвращении своей семьи на первые роли в империи. Несколько раз, ссылаясь на некие древние традиции и якобы данные прежними императорами обещания, Рудольф присваивал себе титулы, на которые не имел ни малейшего права. Он пытался воссоздать древнее Швабское герцогство и стать его правителем, а когда это не удалось, объявил себя