Второй брак Иосифа — с Марией Йозефой Баварской, дочерью покойного врага Габсбургов, императора Карла VII, — был заключен в 1765 г. по настоянию Марии Терезии. Весьма Вероятно, что он так и не стал браком в полном смысле слова: Вскоре после свадьбы Иосиф II приказал заколотить двери, Ведущие из его покоев в комнаты нелюбимой жены. Ранняя смерть этой некрасивой тихони в 1767 г, (опять от оспы) была, наверное, освобождением для обоих супругов. После этого Иосиф утратил интерес к матримониальным планам, которые продолжала вынашивать его мать, и не согласился жениться в третий раз. В 1770 г. его ожидал новый удар: умерла семилетняя дочь императора, слабенькая, но милая и смышленая девочка, названная в честь бабушки Марией Терезией, последнее напоминание о любимой Изабелле. Душа императора окаменела окончательно.
Конечно, здоровый молодой мужчина не мог обойтись без любовных приключений, но у Иосифа II они, судя по всему, носили краткий и не слишком подобающий его положению характер. Согласно ходившим по тогдашней Вене слухам, его величество не гнушался «веселых домов», но, будучи человеком прижимистым, порой не проявлял той щедрости, которой ожидали от столь высокого гостя его мимолетные подруги. Отсюда — распевавшиеся жителями столицы куплеты о том, как «от нашей от Маргит кайзер Йозеф прочь летит» и т. п. Подобный способ «сближения с народом», конечно, не прибавлял императору популярности.
Среди многочисленных братьев и сестер у Иосифа также не было близких людей. Сестры, которых он не любил за склонность к интригам, отвечали на его язвительность тем, что настраивали Марию Терезию против старшего сына. Относительно неплохими были отношения Иосифа лишь с Марией Антуанеттой, однако поучающие письма-инструкции, которыми император бомбардировал сестру после ее французского замужества, вызывали раздражение и у нее. Не пылал любовью к Иосифу II и его брат и наследник Леопольд, написавший об императоре в 1779 г.: «Это человек, исполненный честолюбия, который все говорит и делает лишь для того, чтобы его похвалили и чтобы о нем все говорили в свете... Он сам не знает, чего хочет, все вызывает у него одну лишь скуку... Он не терпит противоречий...». Характеристика весьма критическая и, очевидно, не совсем справедливая.
Кем же все-таки был император Иосиф II? Пожалуй, не найти в истории династии Габсбургов фигуры более противоречивой и вызывавшей столь противоположные оценки у современников и потомков. «Для австрийского либерализма во все времена Иосиф был национальным героем; для антиклерикалов — великим «очистителем веры»; для австрийских немцев, особенно в Богемии и Моравии, — «Иосифом Немцем»; для радикалов и демократов — «народным императором» и «освободителем крестьян»; для консервативных католических кругов — «врагом церкви», «вульгарным рационалистом» и «доктринером»