Начало любви Идзуми Сикибу к принцу Ацумити, самой большой любви в ее жизни, подробно описывается в «Дневнике», поэтому этот период из ее жизни восстанавливается легче всего.
В 1003–1004 годы имя Идзуми Сикибу было у всех на устах, и не только из-за ее скандальных любовных похождений, но и благодаря редкому поэтическому дару, который к тому времени выявился в полной мере и заставил говорить о ней как об одной из лучших столичных поэтесс.
«Дневник Идзуми Сикибу» заканчивается переездом ее в дом принца Ацумити. О последующих периодах ее жизни сохранились весьма скудные сведения.
Известно, что весной 1004 года она вместе с принцем Ацумити любовалась цветами в саду Фудзивара Кинто, а в 1005 году все с тем же Ацумити и его братом экс-императором Кадзан была на празднике Камо. Вот что говорится об этом в «Великом Зерцале»:
«Когда принц-правитель соти-но мия (Ацумити), возвращаясь с праздника (в экипаже) вместе с госпожой Идзуми Сикибу, любовался (шествием), то всем своим видом вызывал интерес собравшихся. Он обрезал до половины бамбуковую штору над входом в экипаж и поднял штору со своей стороны, а с той стороны, где сидела Идзуми Сикибу, опустил ее, и длинное платье дамы выплеснулось наружу. К ее алого цвета раздвоенной юбке-хакама была приколота очень широкая красная бумажная лента, (означающая) “удаление от скверны”. И так как лента свисала до самой земли, то люди не могли смотреть ни на что другое, кроме как на них» (с. 120).
Предполагается, что в том же 1005 году у Идзуми Сикибу родился от Ацумити сын, впоследствии принявший постриг и известный под монашеским именем Эйкаку.
Наверное, годы, проведенные с принцем Ацумити, были самыми счастливыми в жизни Идзуми Сикибу, не зря именно эти годы она решила запечатлеть в «Дневнике».
Однако в 1007 году в возрасте двадцати семи лет Ацумити неожиданно скончался. Его смерть была большим ударом для Идзуми Сикибу. Она посвятила памяти своего возлюбленного цикл из 122 стихотворений.
Вероятно, Идзуми Сикибу надеялась на то, что принц Ацумити станет наследным принцем. Такая возможность и в самом деле существовала. В годы правления императора Итидзё реальных претендентов на будущий престол, помимо наследного принца Иясада, было трое: принц Ацуясу, пятилетний сын императора Итидзё от Тэйси (сын Сёси, благодаря усилиям Митинага, действительно ставший впоследствии наследным принцем, родился только в 1008 году), малолетний принц Ацуакира, сын наследного принца Иясада, и принц Ацумити. Поскольку детская смертность была весьма высока в те годы, обстоятельства вполне могли сложиться так, что после восшествия на престол принца Иясада наследным принцем станет Ацумити, и Идзуми Сикибу не могла этого не понимать.