Иосиф, старший сын и наследник, был не очень способным ребенком. Он учился не так быстро, как его бойкий брат Карл, но трудился упорно и никогда ничего не забывал. Мать называла сына упрямой головой и наставляла его камергера: «Вечером предоставляйте эрцгерцога самому себе, если потребуется, один из камердинеров должен прийти к нему. Но вы все же оставайтесь в комнате, чтобы наблюдать издали за его поступками, его осанкой и так далее. Тогда вы сможете судить о его поведении и поправлять его».
Однажды Мария Терезия приказала, чтобы эрцгерцога Иосифа наказали ударами кнута. Его камергеры стали протестовать против незаслуженно жестокого наказания и заявили, что никогда ни одного эрцгерцога не били кнутом. Императрица возразила: «Это ясно видно по их манерам», но все-таки отменила приказ. Мария Терезия уделяла много внимания воспитанию хороших манер за столом: «…Мои дети должны есть все, что ставят перед ними, не возражая. Они не должны делать замечаний, что они предпочли бы то или другое, или обсуждать еду. Они должны есть рыбу каждую пятницу и субботу и в каждый день поста. Хотя Иоганна чувствует отвращение к рыбе, никто не должен уступать ей. Все мои дети, кажется, питают отвращение к рыбе, но они должны это преодолеть». Своим дочерям императрица писала длинные письма, в которых подробно разбирала их манеры и поведение. Четырнадцатилетней Каролине мать выговаривала за то, что она безразлична во время молитвы и бывает грубой и раздраженной по отношению к камеристкам: «Я не могу забыть эту твою невоспитанность, и я тебе никогда ее не прощу. Твой голос и твоя речь и без того уже достаточно неприятны. Ты должна особенно постараться исправиться в этом отношении; ты никогда не должна повышать голос». Каролина попросила заменить воспитательниц, королева это позволила, но предупредила девочку, что не всякая ее прихоть будет исполняться.
Жизнь этих детей была очень далека от того, какой представляют обычно жизнь монарших отпрысков. «Ты должна добросовестно продолжать упражнения в музыке, рисовании, истории, географии и латыни. Ты никогда не имеешь права лениться, потому что лень опасна для каждого, но особенно для тебя. Ты должна занимать свой ум, потому что это удержит тебя от того, чтобы думать о детских проказах, делать неподходящие замечания и желать глупых развлечений», писала императрица одной из своих дочерей.
Когда дети повзрослели, на них взвалили еще и обязанность представлять семью перед всем миром. Чтобы увидеть их вместе с родителями в Зеркальном зале под расшитым золотом балдахином во время публичного обеда, собирались толпы зевак. В дни рождений, именин и во время других торжеств они выступали в придворном театре в любительских постановках и балетах.