Когда Ягайло короновали на великое княжение в рыцарском зале Виленского замка, между ним и Андреем Полоцким разгорелась открытая борьба за престол. Андрея поддерживали его родные братья, дети от первой жены Ольгерда Марии Ярославовны — князь киевский Владимир, князь брянский Дмитрий, а также сын от второй жены Ольгерда, Ульяны Александровны, князь новгород-северский Корибут.
Ягайло поддержали два брата Скиргайло, дядя по отцу Кейстут с сыном Витовтом. Андрей не сумел добиться победы и уехал в Московское княжество, откуда в 1379 году выступил против Ягайло.
Князь Дмитрий, сдав без боя Стародуб и Трубчевск, тоже ушел с двором и семьей в Москву. Активно поддержал Андрея один из самых больших и богатых городов Великого княжества Литовского Полоцк. В это тяжелое время Ягайло и Кейстут выступили как соправители Великого княжества, главные хранители его единства и могущества. Однако каждый из них стремился действовать, учитывая свои интересы.
Главным врагом Кейстута, так как ему была подвластна западная часть государства, были крестоносцы. С каждым годом они старались расширить свои устремления на восток, особенно на Жемайтию, которая отделяла их владения от Ливонии. Ягайло правил восточной частью государства. Впервые годы после смерти Ольгерда они действовали сообща, потом начался разлад, который перешел в ожесточенную борьбу. В 1380 году Ягайло тайно от Кейстута заключил мирный договор с крестоносцами. Заключая договор, договорились, что крестоносцы только для вида будут беспокоить владения Ягайло, а всю силу направят на покорение земель Кейстута.
После того, как Ягайло обеспечил тылы, он решил принять участие в походе татарского хана Мамая против Московского княжества. Во главе восьмидесятитысячного войска, состоявшего из литовцев и белорусов, он выступил на помощь хану Золотой Орды. Однако в битве на Куликовом поле в сентябре 1380 года участия Ягайло не принял. Простояв несколько дней неподалеку от места боя, он повернул назад. Многие исследователи считают, что причиной ухода Ягайло было то, что его войско состояло в основном из православных белорусов, которые не захотели сражаться со своими братьями по крови и вере.
Великим князем в государстве стал Кейстут. Ягайло стал князем витебским и кревским. Основными задачами для нового великого князя были укрепление единства княжества, спасение его от распада на враждующие между собой уделы и защита от крестоносцев. Кейстут добился прекращения осады Скиргайлом, который вместе с крестоносцами стоял под Полоцком. Затем он помирился с Москвой и в начале 1332 года начал поход на крестоносцев. Это был один из самых успешных походов за всю 150-летнюю борьбу Великого княжества с орденом. Горели города и рушились стены замков, в Литву шли пленные и обозы с добром. Наголову Кейстут разбил и специальный отряд рыцарей, посланный в Великое княжество.