Овдовев в 24 года, Эсма Султан, вопреки местным обычаям, не вышла повторно замуж, а предпочла вести беззаботную жизнь, совершая экстравагантные поступки, о которых потом долго судачил весь Стамбул. В зависимости от времени года и настроения Эсма жила в одной из многочисленных резиденций – дворце на Диван-йолу, вилле в Чамлыдже, особняке в Эйюпе. В конце XVIII или начале XIX в. к ним добавился дворец в Ортакёе.
После смерти хозяйки дворец начал медленно приходить в упадок. В середине XIX в. большой пожар сильно повредил здание, и Саркису Бальяну пришлось отстраивать его фактически заново. В течение XX в. строение сначала приспособили под табачный склад, а затем под угольный склад. В 1972 г. еще один сильный пожар практически уничтожил дворец. Сегодня его полностью восстановили согласно первоначальному плану, однако внутри старых стен возвели новые конструкции из стекла и стали.
Сегодня павильон Айналы Кавак (буквально: «зеркальный тополь») представляет собой невеликое по размерам здание с садом и терассами, за высоким забором, позади верфей Ташкызак, принадлежащих турецким военно-морским силам. Это единственное строение, уцелевшее от летнего дворца Терсане на берегу Золотого Рога, построенного среди заросших лесом холмов в Терсане Бахчеси на стыке между районами Касымпаша и Хаскёй.
Дворец из нескольких павильонов получил своё название в честь многочисленных верфей, строящихся по всему северному побережью залива. Считается, что первые дворцовые постройки появились здесь в эпоху правления Ахмеда I. Именно он приказал соорудить первый деревянный дворцовый павильон, окружив его садом из благоухающих роз, а также апартаменты для своего гарема и хозяйственные сооружения. Во время правления Ахмеда III в употребление вошло другое название дворца – Айналы Кавак (зеркальный тополь), связанное с установкой в новом павильоне подаренных венецианцами (1718) зеркал, «высоких, как тополь». Султан Селим III, композитор по призванию, любил творить в перестроенном при нём дворце. Это, впрочем, не помешало ему снести большинство дворцовых павильонов, чтобы освободить место под верфи.
Сейчас от всего дворца уцелел лишь павильон, полностью отремонтированный во время правления Абдула II архитектором Карапетом Бальяном. Архитектурный стиль и внутреннее убранство павильона, ставшего музеем в 1985 г., сделали его уникальным образцом классической османской архитектуры. В память о султане Селиме III, как о выдающемся турецком композиторе, в цокольном этаже здания размещалась выставка национальных турецких музыкальных инструментов.