Хотя Иван III чтил волю отца и признавал удельные права своих братьев, у него не было намерения расширять их владения. Когда Юрий Дмитровский, не оставив потомства, в 1472 г. умер, Иван III повелел возвратить его удел великому князю как выморочный. Это противоречило древней традиции, по которой каждый из оставшихся братьев имел право на долю имущества покойного брата. Затем в 1478 г., Иван Васильевич отказался выделить братьям долю земель, полученных от Новгорода. Политика Ивана III возмутила Андрея Большого и Бориса, и, как мы видели, они фактически восстали против него в следующем году. Непосредственной причиной этого выступления послужил конфликт с Иваном III по делу князя Ивана Владимировича Оболенского-Лыко.182 Князь Оболенский являлся наместником великого князя в городе Великие Луки. Горожан возмутили злоупотребления Оболенского, и они пожаловались великому князю. Иван III сместил Оболенского и приказал отдать под суд. Тогда оскорбленный Оболенский ушел от Ивана III и поступил на службу к князю Борису Волоцкому, пользуясь старой боярской привилегией свободы службы. Иван III, однако, больше не признавал этого принципа и послал своих людей захватить Оболенского и силой доставить в Москву на суд. Поступок великого князя, естественно, вызвал возмущение князей Бориса и Андрея Большого. Однако в 1480 г., во время нашествия хана Ахмата, Борис и Андрей, под нажимом матери и ростовского епископа Вассиана, согласились на мир с Иваном. Иван III пошел на некоторые уступки. Он пожаловал Андрею Большому важный город Можайск, добавив его к углицкому уделу, а Борису небольшой городок Вышгород с несколькими деревнями в Дмитровской земле в придачу к Волоку. И Можайск и Вышгород входили в удел покойного князя Юрия. Но, несмотря на это соглашение, отношения между Иваном III и двумя братьями оставались натянутыми.
В 1481 г. бездетным умер князь Андрей Меньшой Вологодский. Его удел, как прежде удел Юрия, перешел к великому князю, что не могло улучшить отношений Ивана III с Андреем Большим и Борисом. В 1491 г. Андрей Большой не смог принять участие в походе против Золотой Орды. Тогда его и Бориса обвинили в измене. Бориса Иван III простил, Андрея же взяли под стражу, а его удел конфисковали,183 он умер в тюрьме в 1493 г. В следующем году скончался князь Борис Волоцкий, оставив двух сыновей. Один из них не был женат и умер в 1504 году; второй – женатый, но не имевший сыновей – умер в 1513 г. Это произошло в правление Василия III, который присвоил Волок как выморочное имущество, что явилось одним из тех случаев, когда Василий III завершал труд отца.