И последним просчетом дамы Нидзё стало ее романтическое увлечение Камэямой — младшим братом Го-Фукакусы, которому император сильно завидовал. Через двенадцать лет Го-Фукакуса внезапно прогнал свою наложницу. Во время их последней мучительной встречи на даме Нидзё была изящная накидка из блестящего шелка с красным капюшоном, а на кимоно выделялись вышитые синей шелковой нитью изображения корня маранты и кортадерии. Расставшись с ней, Го-Фукакуса вышел из помещения, пробурчав себе под нос: «Как же я ненавижу корень маранты!»
Через некоторое время дама Нидзё смирилась с утратой привязанности и уважения императора. «Как он мог быть таким бесчувственным?» — спрашивала она себя. Несмотря на то что она долго была (неверной) наложницей, Го-Фукакуса отказал ей в материальной поддержке. Даме Нидзё едва удалось избежать нищеты: чтобы заработать на жизнь, ей приходилось выступать со своими стихами, давать советы относительно внутреннего убранства жилищ — в общем, добывать средства к существованию любыми доступными способами. В это же время она стала буддийской монахиней, правда не совсем обычной, так как много путешествовала и встречалась с самыми разными людьми.
После семи лет странствий во время посещения одного святилища дама Нидзё неожиданно встретила Го-Фукакусу. (Он тоже совершал паломничество к святым местам.) На ней было изношенное монашеское одеяние — пыльное, обтрепанное и неопрятное, а сопровождал ее в странствиях горбатый карлик. Но Го-Фукакуса, тем не менее, ее узнал, и они провели всю ночь в ностальгических воспоминаниях. «Теперь любовь уже не имеет такого очарования, как в былые времена», — вздохнул он. Так, по крайней мере, писала дама Нидзё о его чувствах.
Несмотря на обычный финал своей жизненной истории, дама Нидзё, никогда не страдавшая избытком скромности, решила, что было бы интересно ее записать. Она оказалась права. Ее воспоминания стали одним из редких свидетельств любовных связей наложницы, ее мыслей и восприятия событий, а также обстановки при японском императорском дворе XIII в., где ей довелось прожить немало лет, и реалий повседневной борьбы за выживание среди простых японцев.
В воспоминаниях дамы Нидзё нашли отражение половая распущенность японской аристократии, откровенный прагматизм вельмож, их социальный снобизм и мудреные придворные ритуалы. Она разделяла распространенные тогда взгляды на любовь как на интимную игру, в которой имели значение романтика и поэзия, но никак не верность партнеру. И при дворе императора, и в доме преуспевающего торговца наложницы не имели той защиты, какой отличалось положение жен, — зато им часто была доступна эмоционально бурная и эротически разнообразная любовь. Что касается любви материнской, дама Нидзё была типичной придворной матерью-наложницей, жизнь ее проходила вдали от детей, за которыми следил отец и которых воспитывали слуги.