Вероятно, Идзуми Сикибу вступила в любовную связь с принцем Тамэтака в 1000 году, вскоре после смерти принцессы Сёси (та скончалась в первый день двенадцатого месяца 999 года, переехав незадолго до смерти в усадьбу Митисада на Третьей линии. Сам Митисада в то время редко появлялся в Киото).
Принц навещал Идзуми Сикибу почти каждую ночь, не обращая внимания на свирепствующую в столице эпидемию и валявшиеся на дорогах трупы. В результате он сам заразился и в 1002 году в двадцатишестилетнем возрасте скончался. Его супруга после смерти мужа приняла постриг, но многие говорили (так во всяком случае расценивается ее поступок в «Повести о расцвете»), что она стала монахиней не столько из-за смерти Тамэтака, сколько из-за его связи с Идзуми Сикибу.
Об отношениях Идзуми Сикибу с принцем Тамэтака мало что известно, во всяком случае стихов, которые непосредственно были бы адресованы Тамэтака, чрезвычайно мало.
Похоже, что в результате связи с Тамэтака не только распался ее брак с Митисада, но и испортились отношения с отцом. Судя по всему, Идзуми Сикибу вынуждена была уехать из дома и поселиться отдельно от родителей и сестер (это произошло примерно в 1001 году). В прозаическом вступлении к одному из ее стихотворений этого времени говорится: «Разразившийся вдруг скандал вынудил меня покинуть привычное жилище, и это огорчило меня несказанно…».
Нетрудно себе представить, как возмущены были и Митисада и Масамунэ, узнав о том, что не прошло и года со дня смерти принца Тамэтака, а Идзуми Сикибу сблизилась с его младшим братом, принцем Ацумити.
В столице за принцем Ацумити закрепилась слава человека весьма легкомысленного, к тому же ему не очень везло с женами. Первой женой принца была третья дочь Фудзивара Мититака, судя по всему страдавшая душевным расстройством, а второй — дочь Фудзивара Наритоки (Нака-но кими), отношения с которой у него были довольно прохладными. Связь принца с Идзуми Сикибу вызвала в столице большой шум, особенно возмутительным показалось всем решение принца поселить ее в своем доме, что привело к его разрыву с супругой. Вот как говорится об этом в «Великом Зерцале»: «А другая дочь (Наритоки) после смерти отца по своей воле всего года два-три пробыла старшей супругой четвертого сына монаха-императора Рэйдзэй, называемого принцем-наместником соти-но мия (Ацумити). Когда же принц обратил свои чувства на Идзуми Сикибу, разочарованная, вернулась в дом Коитидзё; и с тех пор, говорят, совершенно обеднела и живет в несказанно стесненных обстоятельствах» (с. 77).