Очень важным атрибутом власти и могущества Сына Неба был большой гарем. По преданию, уже сын прародителя китайской цивилизации Желтого Владыки (Хуанди) имел одну законную супругу и трех наложниц. Наличие у правителя четырех жен стало в Китае — как и в странах исламского мира, — нормой дворцовой жизни. Четыре жены императора символизировали, по мысли придворных книжников, четыре стороны света и четыре времени года, а вместе с государем они составляли священное число пять: пять стихий, пять цветов, пять вкусовых ощущений и т. д. С этой точки зрения, императорский гарем представал прообразом универсума. Согласно более позднему и более экстравагантному разъяснению, императорская семья должна напоминать чайный сервиз, где одному чайнику сопутствует несколько чашек. Впрочем, мудрый царь Шунь имел только три жены, а трижды три образуют девятку — пик мужской силы ян. Число же императорских жен при легендарной династии Ся должно было составлять 12 (тройка, взятая четыре раза). При династии Инь государю были приданы еще 27 (то есть трижды девять) наложниц, так что теперь император обладал тридцатью девятью женами. Такое число жен объяснялось также тем соображением, что женский век (то есть возраст деторождения) заканчивается в сорок лет. Наконец при династии Чжоу число обитательниц императорского гарема должно было равняться 120, и они были разбиты в общей сложности на пять разрядов. Верхнюю ступеньку занимала императрица, далее шли три «жены», девять «старших наложниц», 27 «младших наложниц» и 81 «гаремная девушка».
В средневековых империях организация императорского гарема приобрела свой окончательный вид. Официально здесь должны были находиться 122 женщины: одна законная супруга, четыре младшие жены (каждая из них имела особый титул), девять прислужниц императрицы, девять «избранных девушек» и три группы младших девушек гарема. В действительности минские императоры имели шесть или даже больше младших жен. Кроме того, во дворце находилась целая армия разного рода служанок. Позднейшие источники оценивают их численность в 9 тысяч. Возможно, это преувеличение, но в минское время известны случаи, когда во дворец принимали сразу по 300 девушек. Обыкновенно их отбирали местные чиновники или же они попадали во дворец в качестве подношения от правителей сопредельных стран.
Что бы ни писали ученые авторы о символизме чисел в императорском семействе, действительный быт государева гарема имел на удивление мало общего с традиционными схемами мировой гармонии и даже принципами конфуцианской морали. Жестокое соперничество и ревность заставляли обитательниц гарема использовать все средства для достижения своей заветной цели: стать матерью наследника престола. Интриги, клевета, насильственное прерывание беременности, усыновление чужого ребенка по политическим мотивам (большое преступление по нормам конфуцианства), изощренные убийства соперниц и даже покушения на самого императора были частью повседневной жизни гарема. Были у гарема и свои мифы — например, рассказы о том, как император с одного взгляда влюбился в какую-то наложницу, порой даже родом из какого-нибудь дикого племени, и сделал ее сына наследником престола.