И все-таки, несмотря на эту пощечину, Витте не уходил. Падение его было предрешено. Что царь его ненавидит, об этом знали все и в России, и в Европе, по крайней мере, все заинтересованные. Чтобы избавиться от оппозиции Витте, Плеве и Безобразов добились учреждения дальневосточного наместничества, причем наместником был сделан пособник и клеврет Безобразова Алексеев. К Алексееву переходила вся внешняя политика, касающаяся дальневосточных дел, не говоря уже о всех делах внутренних этих земель (Квантуна и Маньчжурии). Об учреждении наместничества не только Витте, но и министр иностранных дел Ламздорф и все министры вообще, кроме Плеве, узнали «из газет». С этой поры активно и сколько-нибудь плодотворно бороться против планов касательно Кореи становилось для Витте невозможным.
Он явно изнемогал уже в непосильной борьбе. Дорого ему давался уже с несомненностью обозначившийся проигрыш. Именно в эти дни увидел его однажды А.Ф. Кони: «Я встретил Витте в июне 1903 г., проживая в Сестрорецком курорте. Он приехал верхом и ходил, то ускоряя, то замедляя шаг, по крытой длинной галерее близ морского берега, досадливо и с явным невниманием слушая какие-то объяснения старшего врача курорта. Я едва узнал в этом согнувшемся, мешковатом, с потухшим взором и тревожным лицом человеке самоуверенную и энергичную фигуру министра финансов…» Он заговорил, но «я видел, что это лишь машинальные фразы, что он даже не слушает моих ответов и что он, оглушенный шумом внутренней тревоги, среди злобного торжества многочисленных врагов, радуется встрече с человеком, который не учинил ему никакой неприятности. Я понял, что над ним нависла грозовая туча».
Проходили последние дни. когда, уже лишенный всяких средств бороться против воли Николая II, Витте, своим светлым и огромным умом понимавший полную невозможность дальнейшего своего пребывания у власти, мог еще мотивированно подать в отставку и дать своей отставке характер яркого протеста против того черного дела, которое делалось на Ялу и которое он считал и губительной нелепостью, и историческим преступлением. Но как в феврале 1903 г. он предпочел дать два миллиона, лишь бы оставаться у власти, так летом того же 1903 г. он перенес и статс-секретарство Безобразова, и учреждение наместничества — лишь бы не уходить, лишь бы еще месяц, еще неделю остаться министром. Но прошли месяцы, прошли недели, и настало 16 августа 1903 г., когда Николай II попросил, к удивлению Витте, чтобы министр финансов привез к нему управляющего государственным банком Плеске. «Государь очень милостиво меня встретил… Когда я уже встал, чтобы проститься с его величеством, государь император, видимо, несколько стесненный, сконфуженный, обратился ко мне с вопросом: привез ли я Плеске?» — И спросил мнения Витте о Плеске. Мнение оказалось очень хорошим. Тогда царь сказал: «Сергей Юльевич, я вас прошу принять пост председателя комитета министров, а на пост министра финансов я хочу назначить Плеске».