После падения Бойдов король стал править самолично и показал себя с дурной стороны.
Он был робок крупный недостаток в век войн, а трусость развивала в нем подозрительность по отношению к своим придворным, а в особенности к двум своим братьям. Он любил деньги, и ему недоставало щедрости, без которой невозможно было заручиться поддержкой влиятельнейших вельмож, но зато всеми силами старался приумножить свое состояние, посягая на собственность как духовенства, так и мирян, за что заслужил ненависть и презрение тех и других. Король слыл ценителем всего того, что принято относить к разряду изящных искусств, а в особенности, музыки и архитектуры — наклонность, украшающая властителя, коли она не позволяет ему уронить монаршее достоинство. Яков же приблизил к себе архитекторов и музыкантов, исключив из своего ближайшего окружения знатных вельмож, коим он предпочел людей, которых высокомерные шотландские бароны называли каменщиками и бродячими музыкантами. Кокрин, архитектор, Роджерс, музыкант, Ле-нард, кузнечных дел мастер, Хоммель, портной, и Торфихен, учитель фехтования, стали советниками и компаньонами короля. Привычки, свойственные простолюдинам, вызвали ненависть у знати, которая сравнивала Якова с двумя его братьями: герцогами Олбани и Маром, отнюдь не в его пользу.
Внешность и манеры младших сыновей Якова II соответствовали тогдашним представлениям о том, как подобает выглядеть особам королевской крови. Вот портрет герцога Олбани, нарисованный старинным шотландским автором: «Хорошо сложен, рослый и привлекательный, а именно: широколицый, красноносый, с большими ушами, и если он говорил с тем, кто был ему неугоден, выражение его лица становилось ужасным». У Мара нрав был менее суровый, и все, кого он к себе приближал, восхищались его мягкостью и благородством манер. Оба принца были непревзойденными участниками рыцарских турниров, псовой и соколиной охоты, а также обладали многими умениями, которых король был лишен, то ли из-за недостатка вкуса к ним, то ли из-за своей боязливости, хотя в те времена считалось, что людям высокого звания никак нельзя без них обойтись.