Иосиф принес с собой на престол огромное желание как можно лучше устроить жизнь своих подданных и укрепить могущество своего государства. У него было множество самых разных замыслов, которые он торопился осуществить. Он старался успевать как можно больше, чтобы привести все в порядок, и работал, как одержимый, начиная с восходом солнца, создавая новые законы и переделывая старые — жажда преобразований не давала ему покоя. Он писал своему брату Леопольду: «Любовь к отечеству, благо монархии — вот единственная страсть, которая меня одушевляет и под влиянием которой я готов предпринять, что угодно». Но реформатором Иосиф был, если можно так выразиться, умозрительным. Популярная в то время философская школа отрицала ценность исторического опыта, все, что было достигнуто обществом, считалось отжившим предрассудком. Преобразования императора были основаны на отвлеченных принципах, которые соотносились только с указаниями разума и «естественным правом». «Возлагая на себя наиболее славную из европейских корон, — писал император, — я намерен поставить философию законодательницей моего государства; на основании ее принципов Австрия должна получить совершенно новый вид. Внутреннее управление подвластных мне областей требует радикальной перемены; привилегии, фанатизм и умственный гнет должны исчезнуть, каждый из моих подданных будет пользоваться прирожденными ему естественными правами».
В чем заключалась программа? «Монархия, — писал Иосиф, — должна состоять из совершенно сходных по своим учреждениям провинций, представлять собой единое целое, к которому следует применить одинаковую систему управления. Как скоро это будет достигнуто, прекратится всякое отчуждение, всякое соперничество между различными областями и народностями. Различия по происхождению и вероисповеданию должны исчезнуть, и тогда все граждане будут считаться братьями, стараясь посильно помогать друг другу».
И, воплощая в действие свои принципы, уже на второй день после своего воцарения Иосиф издал закон о свободе вероисповедания. Он был очень умеренным, но впечатление произвел очень сильное и в Австрии, и во всей Европе. За ним последовал целый ряд других законов, направленных против влияния Рима. Встревоженный Папа Пий VI сам приехал в 1781 году в Вену, чтобы встретиться с Иосифом.
Встретили Папу прекрасно. Император выехал навстречу его Святейшеству и сопровождал его до самых покоев в императорском дворце Хофбург. Где бы ни появлялся Папа, стекалась масса верующих, преклоняла колени, чтобы принять апостольское благословение. Когда Папа уезжал, Иосиф дал ему эскорт и передал прощальный подарок — распятие, украшенное бриллиантами, а также подарил карету для путешествий. И сразу же после этого Иосиф распорядился ликвидировать монастырь августинцев и продолжил свои антиклерикальные мероприятия. Поездка, таким образом, оказалась напрасной — император не согласился пойти на уступки и объявил о своем твердом намерении отнять у духовенства значительную долю прав. Он писал в одном из писем, что намерен освободить народ от суеверий и от «влияния саддукеев», что необходимо изъять из церковной области все, что не имеет к ней никакого отношения. Монашеские ордена Иосиф подчинил власти епископов, после чего началось упразднение монастырей. Это сопровождалось невиданными безобразиями: монастыри были ограблены, их имущество растрачено, драгоценные библиотеки уничтожены или расхищены. В венском картезианском монастыре бальзамированное тело Альфреда Мудрого было выкинуто из своего свинцового гроба ради металла и в течение нескольких месяцев лежало на всеобщем обозрении.