Когда московские уполномоченные узнали, что Филарет выехал уже из Орши, то послали к нему Андрея Усова с таким наказом: если дадут видеться с митрополитом без приставов и без литовских людей, то спросить его, ожидает ли он, государь, себе размены вскоре, не будет ли какого задержания, нет ли у литовских людей какого умышления и не чает ли на размене какой беды, чтоб он, государь, пожаловал, обо всем этом приказал боярам, и как велит собою, государем, промышлять, лучшими ли людьми наперед разменяться или всеми вдруг, и как велит съезжаться и со многими ли людьми, а литовских пленников будет с боярами человек 300; обо всем бы пожаловал, приказал к боярам подлинно, о всяких вестях, а государь царь велел боярам о том докладывать его государя, и нет ли ему, государю, какого утеснения и скудости? Зачем литовские послы разменом замедлили, о чем в Литве у панов радных был сейм? Но Усов не мог добиться тайного свидания с Филаретом. Между тем отыскали место, удобное для съездов: по большой Дорогобужской дороге пустошь Песочну, от большой дороги в сторону версты с две, а под пустошью течет речка Поляновка, от Вязьмы до пустоши 17 верст.
Когда литовские уполномоченные приехали в Дорогобуж, то начались переговоры о съездах. Здесь опять Гонсевский начал жаловаться: бояре делают не по договору, литовских пленников везут на размен не многих, а на Москве по боярским дворам и по тюрьмам много их пленников засажено, а иных бояре и дворяне разослали по своим поместьям и вотчинам; бояре делают неправдою, чего никогда в христианстве не делается: иных пленников роздали в подарки татарам в Крым, иных – в Персию и к ногаям; так разве христиане делают, христиан поганцам отдают? В одной тюрьме держат по 150 человек, принуждают креститься в московскую веру и целовать крест государю. А которые королевские люди, немцы, французы, англичане, испанцы, нидерландцы, взяты в плен, тех бояре на размен отдать не хотят, и все это будет посольскому договору нарушенье. Гонсевскому отвечали, что все это речь затейная. Литовские уполномоченные назначили съезд на 27 мая, но московские отказались на том основании, что не обозначено было, как велико должно быть число провожатых. Это рассердило Филарета, и он сказал дворянам, присланным к нему от уполномоченных: «Для чего бояре с литовскими послами в четверг 27 мая съезд отложили и присрочили съезд в воскресенье 30? Нам и так уже здешнее житье наскучило, не год и не два терпим нужду и заточенье, а они только грамоты к нам пишут и приказывают с вами, что им подозрительно, отчего из Дорогобужа к ним от меня никакой грамоты не прислано; а нам о чем уже больше к ним писать? И так от меня к ним писано трижды; боярам давно уже известно, что меня на размен привезли, а если бы меня на размен отдать не хотели, то меня бы из Литвы не повезли или бы из Орши назад поворотили».