Эта перспектива вовсе не улыбалась Сюриноскэ, младшему брату князя.
Однако случилось так, что княжна еще ребенком трагически погибла под обломками здания во время землетрясения в 13-м году эры Тэнсё (1585 г.)
Впрочем, смерть княжны еще не означала, что у Кагэю нет другой возможности стать наследником.
Но когда ему исполнилось двадцать лет, у Сюриноскэ родился долгожданный сын и наследник Тадаеси. Таким образом, ко времени
вступления Кадзутоё во владение землями Тоса стало очевидно, что наследником дома Ямаути будет младенец Тадаёси.
В 10-м году эры Кэйтё (1605 г.) князь Кадзутоё удалился от мирских дел, и четырнадцатилетний Тадаеси стал владетельным князем Тоса. Вскоре старый князь умер, и Сюриноскэ, как опекун юного князя, фактически забрал всю власть в свои руки.
В ходе этих событий Кагэю оказался в доме Ямаути как бы на вторых ролях и по занимаемой должности, и по кровным связям - он был родственником по женской линии.
Природа наделила Кагэю суровым и непреклонным нравом - он был живым олицетворением так называемого "нрава Нонака". Вдобавок от матери, Го Ямаути, он унаследовал гордость и вспыльчивость.
Он был на редкость молчалив, жена и дети зачастую по целым дням не слышали от него ни единого слова. Любил науку и глубоко постиг философию дзэн, не чужд был искусству - увлекался театром "Но" (Театр "Но" - классический японский театр, расцвет которого относился к XIV-XV вв., был популярен среди дворян-самураев.)
Однако и наука и философия дзэн оказались бессильны смягчить его крутой нрав - слишком крепко сидела в нем "закваска Нонака".
Этот злосчастный склад характера можно считать наследственным в семействе Нонака - отец в полной мере унаследовал те же свойства. Кагэю был женат на двоюродной сестре князя Тоситака Икэда, властителя замка Химэдзи; влияние дома Икэда немало способствовало почетному положению Кагэю в семье Ямаути. Обещание увеличить жалованье Кагэю до тридцати тысяч коку тоже было дано по ходатайству Тоситака Икэда. Но старый князь умер, не успев выполнить обещание, а Сюриноскэ, опекун нового князя, не только нарушил волю покойного, но еще и сократил жалованье Кагэю до одиннадцати тысяч.
Вне себя от гнева, Кагэю сел на корабль и в полном одиночестве покинул клан Тоса, бросив на произвол судьбы и дом и жену, как будто решил навеки порвать все связи с родиной.
Высадившись в Химэдзи, он нашел временный приют в доме Икэда, но отверг предложение князя Тоситака, который, жалея его, предложил ему службу, и отбыл дальше, в Киото. Он разуверился в людях, возненавидел самурайскую службу. Никогда в жизни он не будет больше служить - так решил Кагэю.