Если Вырубова не принимала августейших посетителей у себя в домике, то сама отправлялась во дворец. Придя туда после обеда, вместе с членами императорской семьи она решала крестословицы, принимала участие в играх и громкой читке. В разговоре она редко касалась политики или выдвигала какую-то оригинальную точку зрения, предпочитая разделять взгляды, выражаемые царем или императрицей. Если супруги расходились в чем-то во мнениях, она, стремясь никого не обидеть, все-таки вставала на сторону государыни.
В отличие от большинства царских фавориток, ничего, кроме внимания и любви Вырубова не искала. Она была лишена честолюбия. Никогда не появлялась на придворных церемониях, не требовала наград, званий или денег для себя или своих близких. Иногда государыня дарила ей платье или несколько сотен рублей, но, как правило, Анна возвращала подарки назад. Во время первой мировой войны 100 000 рублей, выплаченных ей железной дорогой в качестве компенсации за увечье, Вырубова истратила на устройство одного из лазаретов в Царском Селе.
В придворном обществе, где зависть, интриги, личные амбиции проявлялись так заметно, А.Вырубова раздражала многих. Одни насмехались над ее непривлекательной внешностью и простодушием, другие полагали, что российская императрица достойна более подходящей наперсницы. Великие княгини, которых никогда не приглашали в царский дворец, возмущались тем, что смахивающая на простолюдинку Вырубова целые вечера проводит в кругу императорской семьи. Французский посол в России Морис Палеолог был просто шокирован обыденной внешностью фрейлины. Он писал: "Какая странная особа!.. У нее нет никакого официального звания... Физически она неповоротлива, с круглой головой, с мясистыми губами, с глазами светлыми и лишенными выражения, полная, с ярким цветом лица... Она одевается с совершенно провинциальной простотой".
Но те самые качества, за которые придворные презирали Вырубову, привлекали в ней императрицу. Если остальные думали лишь о себе самих, то Анна была бескорыстна, что выгодно отличало ее в глазах императрицы. Она и слышать не хотела тех, кто критиковал ее юную подопечную. Когда Вырубова видела в ком-то нерасположение к себе и сообщала об этом царице, та лишь удваивала внимание к своей подруге. Императрица отказалась дать Вырубовой официальную должность, что позволило бы ей полнее включиться в придворную жизнь. Вырубова рассказывает: "Герцог Гессенский говорил Государыне, чтобы мне дали официальное место при дворе: тогда-де разговоры умолкнут, и мне будет легче. Но Государыня отказала, говоря: "Неужели Императрица Всероссийская не имеет права иметь друга!"