Однако и внутри Думы начиналась борьба между фракциями, случалось, что постановление принято только одними кадетами, трудовики воздерживались от голосования, а кучка правых соединялась с кавказскими социал-демократами в отрицательном вотуме против предложений Партии Народной свободы. Поэтому время не укрепляло авторитета народного представительства, а, напротив, его расшатывало. Бесконечные речи по отдельным вопросам, вначале производившие сильное впечатление, стали утомлять, утомление ощущали и сами депутаты, и прежде всегда переполненный зал заседаний, а также и места для публики все больше пустовали. Слухи об отставке кабинета перемежались со слухами о роспуске Думы. Мы их усердно опровергали, но чем настойчивее это делалось, тем назойливей угроза роспуска приобретала реальные очертания в общественном сознании. Мне пришлось председательствовать на одном бурном митинге. После длинного ряда ораторов, призывавших к поддержке Думы и угрожавших власти восстаниями, если она решится на такой шаг, выступил Родичев и произнес одну из самых замечательных речей своих. Он доказывал, что самую тему нельзя вообще ставить на обсуждение. «Скажем себе, – воскликнул он, гулко ударив кулаком по кафедре, – что Дума не может быть распущена, и ее не распустят». Он был, на мой взгляд, глубоко прав, но сказать это самим себе искренне и убежденно народные представители уже не могли: тот энтузиазм и вера, то светлое настроение, которое владело ими в незабвенный день 27 апреля, безудержно расточилось в самозабвенном словоизвержении.
При таком соотношении сил возникли тайные переговоры представителей придворных кругов с кадетами о приглашении их в правительство. Переговоры велись отдельно, независимо одни от других, с Муромцевым через бывшего министра Ермолова, с князем Львовым и, наконец, с Милюковым через Трепова, который, очевидно, осознал свое бессилие и превратился в наиболее ревностного сторонника кадетского министерства. Столыпину было поручено поставить вопрос на реальную почву распределения министерских портфелей, для чего он пригласил к себе Милюкова, предупредив его сразу, что назначение министров военного, морского, императорского двора и внутренних дел остается в компетенции государя, и при этом дал понять, что министром внутренних дел остается он, Столыпин. Милюков отвечал весьма резким отказом. «Если, – сказал он, – я дам пятак, общество готово будет принять его за рубль, а вы дадите рубль – и его за пятак не примут». Этой обиды Столыпин не забыл Милюкову, по-видимому переоценившему значение Трепова и понимавшему, что Столыпин пригласил его не по своей инициативе.