В Венгрии тоже дела пошли не так, как предполагал император. При вступлении на престол Иосиф не захотел короноваться венгерской короной, чем обидел мадьярских дворян. По его просвещенному мнению, Венгрия ничем не отличалась от всякой другой провинции, а ее старинная конституция только мешала преобразованиям. Даже корону святого Стефана император приказал перевезти в Вену! Всюду была введена система строгой централизации, управление было преобразовано и передано в руки чиновников, государственным языком стал немецкий. Всех, кто не владел им, с государственной службы увольняли, не давая даже возможности выучить язык. В 1784 году в Венгрии было отменено крепостное право. Эти нововведения вызвали повсеместное возмущение. Дворянство уже готово было свергнуть «некоронованного» Иосифа и передать престол кому-нибудь из имперских князей. Но, наученный бельгийским опытом, Иосиф в январе 1790 году уступил венграм и аннулировал реформы, провозглашенные в 1780 году.
Беда в том, что почти никто не понимал, чего хотел Иосиф. А он был бестактным, упрямым, слишком самоуверенным и совсем не хотел приспосабливаться и учитывать многочисленные особенности своего государства.
Внешнеполитические начинания Иосифа были также безуспешны. Война за Баварское наследство в 1778–1779 годах завершилась унизительным отступлением, а Турецкая война 1788–1791 годов представляла собой непрерывный ряд неудач и поражений. Даже личное присутствие императора на фронте не изменило положения. Он отправился на войну тяжело больным. Кампания 1788 года, проведенная в жаркой и болотистой местности, окончательно доконала его, и он возвратился из похода, истощенный болезнью. Одышка в соединении с сильнейшим кашлем не давала ему покоя, так что он не мог ни лежать, ни ходить, и целые ночи проводил, сидя без сна, погруженный в тяжкое раздумье о судьбе государства. Он чувствовал, что дни его сочтены, но больше, чем смерть, угнетали его беды, постигшие отечество. Он знал, что его повсеместно обвиняют в волнениях и развале страны, но не желал принимать на себя ответственность. «Я знаю свое сердце, — писал он незадолго до своей кончины, — я убежден в глубине души в чистоте моих намерений, и я надеюсь, что, когда меня не станет, потомство рассмотрит и рассудит внимательнее, справедливее и беспристрастнее, чем современники, то, что я делал для моего народа».
Может быть, одной из причин излишнего упрямства и твердости, с которыми Иосиф II добивался модернизации своей страны, была неустроенная личная жизнь императора, одиночество и отсутствие в его жизни семейного тепла и любимых людей. Он потерял двух жен, единственную обожаемую дочь, горячо любимую мать. А вот среди многочисленных братьев и сестер у Иосифа не было близких людей. Сестры, которых он не любил за склонность к интригам, отвечали на его язвительность тем, что настраивали Марию Терезию против старшего сына. Более теплыми были отношения Иосифа лишь с Марией Антуанеттой, но постоянное вмешательство в ее жизнь посредством писем-инструкций вызывало раздражение и у нее. Не любил Иосифа II и его брат и наследник Леопольд: