В каком точно году родилась Идзуми Сикибу — неизвестно, чаще всего называют 976–979 годы, но есть и другие предположения.
Отца ее звали Оэ Масамунэ. Об этом есть сведения в дневнике Фудзивара Митинага «Мидокампакуки» (охватывающем события 995-1021 годов) и в составленном в XII веке «Собрании жизнеописаний Тридцати Шести Бессмертных поэтов» («Сандзюроккасэндэн»). Кроме того, первое из принятых в императорскую антологию («Сюивакасю», 1005–1007) стихотворение Идзуми Сикибу было подписано «Сикибу, дочь Масамунэ». Скорее всего, когда составлялась эта антология, а это было в годы правления императора Итидзё (986-1011), Оэ Масамунэ имел титул сикибу-но дзё, то есть был чиновником Церемониального ведомства (Сикибусё), поэтому дочь его стали называть Сикибу, и это прозвание за ней закрепилось.
Род Оэ славился в столице своей ученостью. Особенно большой известностью во времена Идзуми Сикибу пользовался Оэ Масахира (952-1012), муж ближайшей подруги Идзуми Сикибу, поэтессы Акадзомэ Эмон. Он был ученым и поэтом, причем писал не только китайские стихи-ши, но и японские вака. (Среди предков семьи был Оэ Тисато, один из ведущих поэтов «Кокинвакасю», так что семейство Оэ было связано и с традициями поэзии вака тоже.)
О матери известно только то, что она была дочерью Тайра Ясухира, правителя провинции Эттю.
Очевидно, у Идзуми Сикибу было несколько сестер, во всяком случае точно известна одна, младшая, которая была замужем за Фудзивара Такатика, сыном Акадзомэ Эмон и Оэ Масахира. В домашней антологии Акадзомэ Эмон есть стихотворение, адресованное ее сыном Такатика дочери Оэ Масамунэ, и ответ на него, подписанный «сочинено ее старшей сестрой, Идзуми Сикибу».
Детство Идзуми Сикибу пришлось на годы правления императора Энъю (969–984, жил 959–991). К тому времени род Фудзивара, давно уже стремившийся подчинить себе императорское семейство, достиг наконец своей цели, и началась борьба за власть уже между разными ветвями рода.
Еще в 968 году Фудзивара Канэиэ удалось сделать свою старшую дочь Тёси наложницей императора Рэйдзэя (950-1011, годы правления 967–969), и она поселилась во Дворце, где ей пришлось соперничать с уже пять лет жившей там и в 967 году получившей титул императрицы принцессой крови Сёси, дочерью императора Судзаку. Тёси удалось добиться благосклонности императора и, родив ему трех сыновей, оттеснить Сёси, которой пришлось до самой смерти, последовавшей в 999 году (ей было тогда 50 лет), влачить довольно жалкое существование.
В 969 году Рэйдзэй отрекся от престола, уступив его десятилетнему Энъю. В 977 году скончался старший брат Фудзивара Канэиэ, Канэмити, бывший до этого времени канцлером, и эта должность перешла к его двоюродному брату, Фудзивара Ёритада, который тут же сделал свою дочь Дзюнси супругой императора Энъю. Вскоре после нее во дворце появилась и Сэнси, младшая дочь Фудзивара Канэиэ, который был в то время Правым министром. В 982 году Дзюнси получила титул императрицы, и между Ёритада и Канэиэ разгорелась ожесточенная борьба за влияние на императора. Сэнси в 980 году родила императору Энъю первенца, наследного принца Ясухито (будущего императора Итидзё), таким образом значительно укрепив позиции Фудзивара Канэиэ. В 986 году, обманным образом вынудив отречься от престола императора Кадзан, старшего сына императора Рэйдзэя, всего два года назад сменившего императора Энъю, Канэиэ добивается передачи престола своему шестилетнему внуку, принцу Ясухито, который становится императором Итидзё (980-1011, годы правления 986-1011), а сам Канэиэ, сняв с себя обязанности Правого министра, остается при нем регентом (сэссё), а потом канцлером (кампаку), обеспечив таким образом себе и впоследствии своим сыновьям верховное положение в государстве.