«Это человек, исполненный честолюбия, который все говорит и делает лишь для того, чтобы его похвалили и чтобы о нем все говорили в свете… Он сам не знает, чего хочет, все вызывает у него одну лишь скуку… Он не терпит противоречий…»
Жениться в третий раз Иосиф отказался наотрез. Канцлер Кауниц надоедал ему просьбами жениться и нашел подходящую невесту, французскую принцессу Елизавету. Но на Иосифа произвели впечатление слухи о внешности и аппетите девушки (говорили, что она съедает мяса и рыбы на сумму 100 миллионов франков в год), а потом он и сам убедился в их правдивости. Он написал Кауницу, что она стала такой полной, что он себе просто не может представить.
Конечно, здоровый молодой мужчина не мог обойтись без любовных приключений. По Вене ходили слухи, что его величество не гнушался веселых домов, но, будучи скуповатым, не проявлял той щедрости, которой ожидали от столь высокого гостя его мимолетные подруги. Жители столицы распевали куплеты о том, как «от нашей от Маргит кайзер Йозеф прочь летит». О наследнике император не беспокоился, с этим отлично справлялся его брат Леопольд, у которого было 16 детей. Иосиф во время своих посещений Флоренции заглядывал в детскую своего брата, Великого герцога Тосканского, и знакомился со своими племянниками. Обучая их разным играм, он на самом деле присматривался к детям и даже экзаменовал их. После этого он обычно писал брату письма и давал ему советы по поводу воспитания его детей.
Особый интерес у Иосифа вызывал старший племянник, эрцгерцог Франц, который однажды должен был унаследовать трон. Леопольд, как и Иосиф, был сыном эпохи Просвещения и начал воспитывать своих детей в соответствии с принципами Жан-Жака Руссо. Правда, на практике их особенно осуществить не удалось, так как образование и воспитание наследника трона интересовало всех: бабушку-императрицу Марию Терезию, дядю Иосифа, других родственников, а также министров, воспитателей и гувернеров. Между Хофбургом и палаццо Питти во Флоренции шел обмен длинными письмами о наследнике трона Франце. Периодически система воспитания пересматривалась и появлялся еще один учитель, пастор, епископ или офицер, в зависимости от того, какие недостатки обнаруживались в развитии эрцгерцога: духовные, телесные или моральные, которые казались особенно серьезными в тот момент.
Иосиф, как и его мать когда-то, искал по всей Европе подходящую партию для Франца. Ею стала здоровая, молодая немецкая принцесса Елизавета фон Вюртемберг. Император привез девушку в Вену, распорядился о ее переходе в католичество, велел подлечить ей зубы, немного расширил образование и, как добрый дядюшка, наблюдал расцвет юной красоты. Он действительно полюбил девочку, ему приятно было играть в Пигмалиона.