Вероятнее всего, в конце 60-х принц начал склоняться к католичеству. Неизвестно, когда именно он перешел в католическую веру, но с середины 70-х это уже было секретом Полишинеля — принц не принимал участия в англиканских богослужениях, он оставил пост командующего флотом, дабы не приносить присягу, противоречащую учению Католической церкви, а Папа признал его заключенный в 1673 году брак с католичкой, дочерью герцога Моденского Марией Беатриче. (Анна умерла еще в 1671 году, оставив Якову II двух дочерей: Марию и Анну.)
Принимая во внимание положение Якова, вопрос его вероисповедания имел политическое значение, особенно в связи с усилением в Англии антикатолических настроений. В 1678 году появились слухи о заговоре католиков (Папистский заговор), целью которого якобы было совершение государственного переворота. Большая часть общества и политиков, опасаясь все более реальной угрозы восшествия на трон монарха-католика, старалась исключить Якова из числа наследников. Однако это встретило сопротивление со стороны Карла II, который заблокировал внесение соответствующих изменений в законы. Политический спор вокруг Якова существенным образом повлиял на формирование двух политических лагерей, которые в будущем стали доминировать на британской политической сцене: сторонников короля, не соглашавшихся исключить Якова, герцога Йоркского, из числа наследников трона, начали называть тори, а их противников, стремившихся обеспечить преемника короля — протестанта, прозвали вигами.
Поскольку ситуация зашла в тупик, было подготовлено обращение к Якову, призывавшее его вернуться в лоно Англиканской церкви, но тот ответил отказом. В этой связи король согласился на некоторое время устранить герцога из общественной жизни — весной 1679 года Яков выехал в Брюссель, а с октября того же года до весны 1682-го он находился в Эдинбурге, где даже сумел завоевать некоторую популярность.
По возвращении в Лондон он вновь начал участвовать в политической жизни и делах флота, однако не смог договориться с противниками католичества. Когда в феврале 1685 года он стал королем, первые недели его правления были довольно спокойными. Более того, созванный им парламент был настроен к нему положительно, хотя это могло быть обусловлено стремлением любой ценой избежать гражданской войны, которая разразилась бы, если бы король не смог усмирить бунт под руководством графа Аргайла и старшего незаконнорожденного сына Карла II Джеймса Скотта, герцога Монмута, объявившего себя претендентом на трон, а Якова назвавшего узурпатором. Мятеж довольно быстро был подавлен — уже в июле бунтовщики были схвачены, приговорены к казни и обезглавлены.