Так в неопределенном положении мы и прожили до роспуска Думы, обращаясь к начальству лишь за разрешением съездов. Теперь положение изменилось. Если раньше лишь провинциальные администраторы ставили палки в колеса, то после роспуска Думы в Петербурге закрыт был клуб партии, в отдельных районах произведены были обыски и аресты, и это послужило сигналом для усиления репрессий на местах. Поэтому мы и подали заявление о регистрации, рассмотрение которого затягивалось, а на конец сентября решено было созвать четвертый съезд. На нем предстояло определить отношение партии к Выборгскому воззванию. Петербург, ничего не предпринявший для проведения воззвания в жизнь, отдавал себе отчет, что это был удар если не по воздуху, то по воде, вызвавший лишь мгновенный всплеск брызг. Неизвестно еще было, что чувствует более горячая Москва, и меня командировали прощупать почву. Там, однако, я почти никого не застал, и лишь на телефонный звонок в доме Долгоруковых мне ответили, что князь сейчас подойдет к телефону. Так как по голосу братьев трудно было различить, то вначале я думал, что говорю с Павлом. Оказалось, что говорит Петр, и я очень обрадовался, ибо к нему был сердечно привязан. На мое предложение встретиться для делового разговора он, тоже в деловом тоне, сказал, что сегодня это было бы очень трудно, потому что он занят – венчается, а вечером уезжает с женой в Петербург. Так как и я туда же возвращался, мы условились завтра утром, на ходу поезда в Петербург, в вагоне переговорить. Этот разговор в купе остался навсегда в памяти, очень укрепил мою привязанность к Петру Дмитриевичу, и с его очаровательной женой у нас сразу установились такие отношения, точно мы уже давно друзья.
Я знал, что, в отличие от многих, Долгоруков оценил свою подпись под воззванием как принятую на себя ответственную обязанность, тотчас же из Выборга поехал в свой Суджанский уезд, где состоял предводителем дворянства, и стал подготавливать среди населения отказ от выполнения воинской повинности на предстоящем осенью наборе новобранцев. И теперь он так оживленно рассказывал, что успел сделать и каких результатов ожидает, что я почувствовал большое смущение, но так как притворяться и фальшивить мне противно, то он скоро понял, как велика пропасть между его и петербургским отношением к воззванию, вдруг замолчал и оборвал разговор. Упорно молчал он и в заседаниях ЦК, и более неприятных заседаний я, пожалуй, и не вспомню: чувствовалось, что так или иначе почти все внутренне не сомневаются, что воззвание было политической ошибкой. Но подписавшие не могли отрешиться от бурной обстановки тех дней, не позволявшей подчиниться роспуску без всякого противодействия. А те, что не принимали участия в составлении, и тем более выступавшие противниками тщательно воздерживались от упреков и прибегали к чрезвычайно сложному плетению словес. Хорошо еще, что отказ правительства в регистрации последовал до этих заседаний: если бы похороны воззвания можно было связывать с расчетами на легализацию, страсти дошли бы до точки кипения, и словесное плетение могло бы разрешиться расколом.