И великий князь, и рада панов осознавали все преимущества союза, столь необходимого для них в тот момент. Поэтому расхождения относительно русской политики не затмевали приоритета – политики польской. Хотя влияние Збигнева Олесницкого ослабевало, опасность со стороны Польши оставалась главной политической проблемой для Литовского государства. Уже в конце февраля 1452 г. в Польше возникли планы военных действий для завоевания Волыни. Наибольшее напряжение вызвал Сандомирский съезд, в марте 1452 г. огласивший идею детронизации Казимира. Казимиру удалось опередить своих противников при помощи великопольских вельмож. Петроковский съезд, созванный Збигневом Олесницким и краковским воеводой Яном Тенчинским в мае месяце, провалился. На сей раз Волынь ускользнула от Польши, но возможности лавирования в Польше для Казимира заметно уменьшились. /315/
В таких обстоятельствах на рубеже августа и сентября 1452 г. на польский Серадзийский съезд явились представители Литвы Андрей Довойно и Михаил Монтовтович, которые на угрозы ответили угрозами. Соглашение вновь не было достигнуто, но теперь перед радой панов Литвы открылась куда более грустная политическая перспектива. Династические притязания Ягеллонов, которые воплощала личность Казимира и которые прозорливая группировка Иоанна Гаштольда до поры использовала в качестве литовского политического орудия, превратились в обособленный политический фактор. Этот фактор расколол единый фронт польской аристократии, но и оказался вне контроля рады панов Литвы. С начала пятидесятых годов в странах, управляемых Ягеллонами, наблюдалось непростое распределение политических сил. Как в Польше, так и в Литве вокруг монарха сплотились выдвинутые им люди, а влияние лагерей Иоанна Гаштольда и Збигнева Олесницкого постоянно слабело, что вызывало неминуемую взаимную конфронтацию этих лагерей.
На Серадзийском съезде Польскому коронному совету удалось вырвать у Казимира тайное обещание – подтвердить привилеи Польскому королевству. Политика Ольшанского съезда, до той поры осуществляемая вполне успешно, испытала первый серьезный удар. /316/ Группировка Иоанна Гаштольда болезненно реагировала на действия Казимира и склонялась к выдвижению нового великого князя. Эти планы не получили завершения, названный кандидатом Радзивилл Остикович слабо выглядел в качестве антимонарха, не было прояснено отношение к Казимиру (устранять его окончательно или позволить претендовать на роль субмонарха в Литве). Однако против Польши были предприняты определенные шаги: в начале 1453 г. Радзивилл отправился к Сеид-Ахмету, чтобы уговорить его направить силы на Червонную Русь, откуда исходила наибольшая опасность для Волыни. Это был рискованный шаг, ибо реакцию бывших союзников Михаила Сигизмундовича мало кто мог предсказать. Дезавуировать миссию Радзивилла Казимиру помог его верный соратник Хаджи-Гирей. Он изгнал Сеид-Ахмета, а Радзивилл попал в руки крымских татар и позднее, когда обстоятельства переменились, был отпущен. В этом случае Иоанна Гаштольда не поддержал Вильнюсский епископ Матфей, однако ядро Ольшанской группировки все же решилось на конфликт с государем. Весной 1453 г, когда Казимир находился в Литве, люди Иоанна Гаштольда начали силой устранять поляков, сопровождавших великого князя. Во время стычки был ранен даже сам монарх. В мае месяце умер епископ Матфей, авторитет которого удерживал от крайних мер как Казимира, так и Иоанна Гаштольда. И все-таки действия литовцев произвели впечатление на Казимира. Он уже не мог до конца примириться с Иоанном Гаштольдом, однако стал четко разделять личные и государственные интересы. Ягеллон опирался на лично приверженных ему дворян, с учетом настроений всей рады панов, заставлявшей его решительнее обращаться с поляками.