Отношения с двором сложились у Серова сложные и неровные. Первое упоминание в письме Серова о царе поражает. Оно относится еще к 1889 году. Тогда он с матерью тщетно пытался добиться постановки «Юдифи» и издать критические работы отца. Последнее удалось сделать только после того, как двор пожертвовал необходимую сумму на издание сочинений бывшего присяжного музыкального критика. И Серов пишет Остроухову, с которым делился тогда всеми перипетиями этой истории: «У нас с мамой великая радость, представь – государь жертвует 3000 рублей на издательство критик отцовских. Государь мне всегда нравился. И теперь я наивернейший подданный его. Труды и хлопоты мамины не пропали, значит, даром. „Юдифь“ хоть и не пойдет, зато критики будут издаваться, и то хорошо».
История с заказом портрета произошла три года спустя, и можно предполагать, что заказ этот был Серову не очень неприятен.
Но уже первое столкновение с государем, который «всегда был симпатичен», резко меняет мнение Серова об этом человеке.
Серов с неприятным чувством вспоминал впоследствии посещение царского двора.
Царь жил, афишируя свою скромность и непритязательность, в Аничковом дворце. Это, однако, было лицемерием, ибо более роскошный Зимний дворец все равно пустовал. Все из той же скромности царь не позировал художникам. Впрочем, для этого случая было сделано исключение: Серов должен был к определенному времени приезжать в Аничков, где царь уделял ему двадцать минут на сеанс.
Обстановка дворца показалась Серову казарменной, а сам царь, суровый солдафон, ассоциировался с образом Навуходоносора.
Сначала Серову совсем было отказано в сеансах – дело было летом, и царь жил в Гатчине, излюбленной летней резиденции своего прадеда Павла I. Серову только разрешили увидеть царя, когда тот выйдет на прогулку. Его поместили где-то на лестнице, и он ждал там выхода царя. Но царь, видимо, забыл о назначенном свидании и поэтому, очутившись с глазу на глаз с незнакомым человеком, стоящим за колонной, сначала даже несколько испугался и лицо его приняло настороженное и отчужденное выражение.
В эту минуту кто-то подошел к царю и напомнил ему о художнике. После этого царь беседовал с художником минут пять весьма любезно, но первого впечатления, когда лицо царя выражало страх, недоверие, холод, Серов прогнать уже не мог. Оно неизменно появлялось во всех портретах Александра III, которые пришлось ему писать впоследствии.
Писать групповой портрет царей было трудно. Он был окончен лишь три года спустя, и Серов с облегчением сообщал об этом жене: «Ну-с, Лелюшка, кончилась наконец эта история с Борками. Были цари, освятили церковь, были в павильоне, видели мою картину, пили чай, все как следует…»