Последний шахматный триумф Фишера обернулся для него трагедией. Вернуться в Америку он не мог из-за нарушения условий блокады Югославии, к тому же на пресс-конференции Роберт публично плюнул на письмо-предупреждение из госдепартамента США. Таким образом, дома его ждала тюремная камера, и он предпочел перебраться в Будапешт, где жила его возлюбленная.
Однако здесь его тоже подстерегал удар. Хотя материальное будущее Роберта и Петры было обеспечено, еще раз подтвердилась поговорка, что не в деньгах счастье. Райчани решила покинуть Фишера, отказалась стать его женой, несмотря на то, что он делал ей предложение чуть ли не каждый день. Венгерскую шахматистку утомило общение с психически неуравновешенным чемпионом. А вскоре она вышла замуж за бывшего советского гроссмейстера Рустема Даутова, проживающего ныне в Германии. При желании финал этой любовной истории можно рассматривать как реванш советской шахматной школы, уступившей в прошлом веке Фишеру все свои позиции…
Спустя два года кратковременный роман у Роберта возник с красавицей Полиной, дочерью президента шахматной федерации Санкт-Петербурга Бориса Хропова. Но из этого тоже ничего не вышло. Они несколько раз встречались в Будапеште, но общего языка так и не нашли.
Вечный холостяк продолжал жить в столице Венгрии и время от времени заказывал фотографии молодых девушек за шахматной доской, подолгу размышляя, какая из них могла бы стать его женой.
Находясь в Будапеште, Фишер часто бывал в гостях у семейства Полгар, много общался с гениальными сестрами. Девушки были тогда не замужем, и если бы он приударил за одной из них, могла бы возникнуть самая выдающаяся шахматная семья в истории, выступающая, как говорят теннисисты, в парном разряде.
А в 2000 году разнеслась сенсационная весть: у Фишера роман с японкой Мийоко Ватаи, с которой он познакомился почти тридцать лет назад. И это не какая-нибудь гейша, а видная у себя на родине шахматистка, неоднократная чемпионка страны, не раз выступавшая на олимпиадах, ныне она является секретарем японской шахматной ассоциации.
Еще в 1973-м, через год после того, как Фишер стал чемпионом мира, он посетил Японию, и в шахматном клубе его попросили сыграть две партии с лучшими игроками сильного и слабого пола. Повезло Мийоко Ватаи, которой тогда было двадцать восемь. Роберт был сама любезность и сделал девушке комплимент, мол, их партия получилась весьма увлекательной. Затем состоялся ужин, на котором они оказались рядом. На следующий день Ватаи устроила Бобби экскурсию по Токио, и они подружились. В 1974-м Мийоко включили в сборную Японии, и по дороге на олимпиаду в Колумбию она заехала к Фишеру. С тех пор они часто виделись, звонили друг другу, переписывались.