Лучшая часть дворца отводилась для гарема. В остальных частях принимали гостей, устраивали дипломатические приемы, парады и прочие церемонии.
Современник оставил нам соответствующие разъяснения:
«Сераль — значит дворец: это имя дается резиденции государя, а также и резиденциям губернаторов, управляющих провинциями от имени султана. Под словом „сераль“ разумеется совокупность дворцовых построек, обитаемых как женщинами, так и мужчинами. Наиболее распространенная часть этих построек предоставляется женщинам и называется гаремом…
Сераль, в котором обыкновенно живет султан, представляет собой громадное мраморное здание, раза в четыре превосходящее размерами петербургский Зимний дворец. Три четверти всей этой массы построек составляет гарем, тогда как мобейн, относительно говоря, является только пристройкой к прочему зданию. Между мобейном и гаремом находится громадная зала с особыми лестницами, подъездами и своей почетной дверью, назначенная для официальных приемов иностранных монархов, посланников, министров и пр.
Независимо от этого главного корпуса существует еще множество пристроек к сералю, обширных зданий, служащих конюшнями, кухнями, складами, казармами и пр. Все эти здания составляют как бы маленький город, тянущийся вдоль Босфора на протяжении приблизительно двух километров».
Гарем состоял из нескольких тысяч помещений различного назначения, из которых сохранилось лишь около трехсот, которые сегодня показывают туристам.
Гаремный комплекс постоянно расширялся и перестраивался, особенно после пожаров и землетрясений, а также обзаводился «филиалами» — виллами на Босфоре и в других живописных местах.
Главной задачей архитекторов и прочих устроителей «Дома счастья» было создание возможных, а порой и невозможных по обычным понятиям, удобств, красоты и особой атмосферы, способствующих наслаждению жизнью и стимулирующих обитательниц полнее отдаваться радостям любви.
Этот великолепный мир, куда избранные попадали через «Въездные ворота гарема», включал роскошно убранные покои жен и их детей, пышные апартаменты матери-султанши, альковы наложниц, школу принцев, жилища евнухов и слуг, комнаты для отдыха и развлечений, бани, сады, пруды с экзотическими рыбками и бассейны, фонтаны, зверинцы, театр, лечебницы и многое другое.
Надежно охраняемый дворец султана включал также несколько мечетей.
Планировку помещений гарема описал и Теофиль Готье:
«Комнаты располагаются анфиладой или выходят в широкий коридор… Апартаменты каждой из жен имеют единственную дверь, открывающуюся в просторный проход, как двери келий — в галерею монастыря. В обоих концах коридора стоят на страже евнухи или бостанджи».