В Четвертой Думе фракция единодушно голосовала против него в вопросе о постройке Амурской железной дороги, Милюков отказался от председательствования, и на другой день к нему отправились с просьбой «прийти и володеть нами», потому что заменить его было некем: он головой возвышался над всей Думой. Но тяготение к позиции историка, отсутствие политической страсти делало его человеком «без изюминки», превращало политику из искусства в рукомесло и подменяло непосредственное чутье логической арифметикой. Этот умнейший человек, когда требовалась быстрота решения, не успевал произвести вычисления и совершал ошибки. Достаточно вспомнить об одном из выступлений Родичева в Третьей Думе, когда по поводу расправы военно-полевых судов он произнес слова «столыпинский галстук». Столыпин вскочил со своего места, и преданная ему Дума отвергла слова Родичева горячими аплодисментами в честь премьера, а к аплодисментам присоединился и Милюков. Это совсем окрылило Столыпина, он послал секундантов к Родичеву, которому, после аплодисментов своего лидера, ничего не оставалось, как просить извинения.
Однако отсутствие изюминки обнаружилось не сразу. В 1905 году, когда Милюков только что водворился окончательно в Петербурге, эта особенность его не могла еще резко выдвинуть наружу, а все отмеченные преимущества в сочетании с политическим бесстрашием, неистощимым терпением, сверхчеловеческой неутомимостью, чуждостью кружковщине быстро сделали его авторитетным центром общественного движения, организовавшегося в Союз союзов, то есть объединение отдельных – формально профессиональных, фактически политических – союзов, и все свое влияние он упорно направлял на противодействие крайним течениям, к которым неустойчивая радикальная интеллигенция всегда питала влечение.
Косвенное участие Милюкову пришлось принять в происходивших в Петергофе под председательством царя совещаниях высших сановников об организации Государственной думы. В эти совещания приглашен был учитель Милюкова, профессор Ключевский, который после каждого заседания обсуждал со своим бывшим учеником стоявшие на очереди вопросы. Благодаря этому мы имели возможность получить экземпляр стенографического отчета «петергофских совещаний», который потом и был издан за границей с моим предисловием.
Обнародование положения о Государственной думе 6 августа не вызвало ни малейшего энтузиазма, но зато обострило раскол в широком фронте противников самодержавия. Главным средством борьбы стала забастовка и бойкот, который радикальное течение решило применить и к Государственной думе. А так как в это время защитники режима тоже стали организовываться и противопоставлять общественному движению свои резолюции и требования, то раскол угрожал опасным ослаблением. «Право» напечатало обстоятельную статью Милюкова, исходившую из утверждения, что Дума является новым историческим этапом в государственной жизни России, и содержащую отличный анализ этого учреждения. Рядом стояла моя статья, которая объясняла бессмысленность применения бойкота к Думе.