Несмотря на плодотворную деятельность премьер-министра определенные силы постоянно стремились вбить клин между ним и государем. Реакционеры, в их числе такие влиятельные лица из числа придворных, как князь Владимир Орлов, неустанно твердили императору, что само существование Государственной Думы - это позор для монархии. Столыпин, нашептывали они царю, предатель и тайный пособник революционеров, который смотрит сквозь пальцы на усилия депутатов Думы лишить Государя его прерогатив как помазанника Божия. Витте тоже плел нити заговора против Столыпина. Хотя не вине Столыпина граф Витте впал в немилость у Царя и стал объектом его презрительного отношения, бывший председатель Совета Министров винил во всем нынешнего премьера. Хотя именно Витте был автором манифеста от 17 октября 1905 года, в результате которого возникла Государственная Дума, но теперь, кипя злобой, примкнул к реакционным элементам и начал подрывную работу против Столыпина.
К несчастью, Столыпин навлек на себя и гнев императрицы. В начале 1911 года, встревоженный тем, что такой мерзкий тип, как Распутин, пользуется влиянием при царском дворе, он получил докладную записку от корпуса жандармов, составленную на основании данных департамента полиции. В ней сообщалось о кутежах и любовных похождениях "божьего человека". Петр Аркадьевич явился с докладной к царю, чтобы предостеречь его от общества "старца". Николай II прочитал записку, но не сказал ничего. Тогда премьер-министр своею властью приказал Распутину оставить столицу. Императрица энергично запротестовала, однако государь не стал отменять распоряжение своего премьера. Распутин отправился в продолжительное паломничество в Иерусалим и по пути корявым почерком писал царице предлинные, цветистые и замысловатые послания.
Изгнание Столыпиным Распутина - еще одно свидетельство трагической изоляции царской семьи и непонимание ее проблем окружающими. Столыпин отнюдь не был бессердечным человеком. Если бы хоть однажды видел страдания цесаревича и наблюдал облегчение, какое приносит больному своим присутствием Распутин, он не принудил бы того к отъезду. Премьер-министр действовал лишь как здравомыслящий государственный деятель, стремящийся оградить обитателей царского дворца от опасного влияния. Государыня же решила, что Столыпин преднамеренно лишаете сына помощи человека, поддерживающего жизнь в ребенке, и возненавидела премьер-министра.
От непосильных трудов Столыпин начал сдавать. Изменить за какие-то пять лет порядки, существовавшие столетиями, оказалось не под силу даже такому богатырю, как он. Здоровье Столыпина ухудшилось, он часто хворал гриппом, стал раздражителен. Политику, предпочитавшему действовать смело и решительно, трудно было найти общий язык с императором, который был склонен к фатализму и мистике. Например, однажды Николай II вернул премьеру какой то документ неподписанным, приложив к нему письмо: "Несмотря на в вполне убедительные доводы в пользу принятия положительного решения по этому делу - внутренний голос все настойчивее твердит Мне, чтобы Я не брал этого решения на Себя. До сих пор совесть Моя никогда меня не обманывала. Поэтому и в данном случае Я намерен следовать ее велениям. Я знаю, Вы тоже верите, что "сердце царево в руках Божиих". Да будет так. Я несу за все власти, Мною поставленные, великую перед Богом ответственность и во всякое время готов отдать Ему в том ответ".