Иосиф не унаследовал крепкого здоровья своей матери и постоянно жаловался то на краснуху, то на глазную инфекцию, то на закупорку печени, депрессию и кашель. С турецкого фронта Иосиф вернулся уже серьезно больным и в феврале 1790 года умирал от туберкулеза, болезни печени и нервного истощения. Единственное, что его утешало — Елизавета, жена его племянника, ждала ребенка и за будущее династии он не тревожился. Молодая женщина пришла проститься с умирающим императором, но вид истощенного и измученного Иосифа произвел на нее такое ужасное впечатление, что она упала в обморок. На следующий день у нее начались преждевременные роды, во время которых акушеры применили изобретенные незадолго до этих печальных событий щипцы. Несчастная женщина бредила и все спрашивала стоявших вокруг нее людей, доволен ли ею дядя Иосиф. Вскоре она умерла. Дочь, которую она родила, серьезно пострадала во время тяжелых родов и прожила только шесть месяцев. Незадолго до смерти Иосиф написал собственную эпитафию: «Здесь лежит государь, намерения которого были чисты, но ему не суждено было увидеть успех ни одного из своих начинаний». Умирающий император ждал приезда брата и наследника, эрцгерцога Леопольда из Тосканы. Он рассчитывал убедить Леопольда продолжать реформаторский курс. Однако и этой надежде не суждено было сбыться.
Утром 20 февраля Иосиф умер. Ему не было и 49 лет. В этот же день Франц простился со своей женой, которую похоронили рядом с другими Габсбургами в склепе церкви Капуцинов. А Леопольд прибыл в Вену только через две недели, 6 марта.
Смерть Иосифа оплакивали не столько родственники и знать, сколько простые подданные. Ведь то, что делал Иосиф, изменило прежде всего их жизнь: открывались школы и больницы, дома для сирот и бездомных, из городов вывели кладбища. Иосиф отдалил от себя аристократию, заставлял дворян платить налоги, провозгласил религиозную терпимость, закрыл монастыри, конфисковал их имущество и использовал его для школ, пансионов и для социального обеспечения, но при этом сохранил монашеские ордена, которые занимались образованием или здравоохранением. Поэтому и вспоминали его по-разному, часто давая противоречивые и даже противоположные оценки. Для тех, кто мечтал о реформах, Иосиф был национальным героем; для борцов с церковью — великим «очистителем веры». Австрийские немцы в Богемии и Моравии называли его Иосифом Немцем; радикалы и демократы — народным императором и освободителем крестьян. Консерваторы и ревностные католики считали императора врагом церкви и вульгарным рационалистом. Все это говорилось об одном и том же человеке, и все это было правдой.