Из поколения в поколение передавались рассказы о знатной аристократке маркизе Казатти, которая приобрела дворец в 1910 году. Она была, что называется femme fatale – роковой женщиной. Ее любовные романы, как правило, заканчивались весьма трагично для поклонников. Маркиза одевалась подчеркнуто вызывающе, часто давала шумные балы. Дворец был декорирован в два цвета – черный и белый. Одежда слуг и дворецкого во время приемов была весьма лаконичной – она состояла из двух больших золотых листьев. Маркизу всегда сопровождали две обезьянки с бриллиантовыми ошейниками, ежегодно она давала грандиозные балы в Венеции, закрывая для этого вход на площадь св. Марка.
Маркиза Казатти умерла в 1957 году в полном одиночестве, в съемной комнате, оставив долг в 50 миллионов долларов.
В 1938 году, когда маркиза выехала из дворца, его купила виконтесса Диана Кастлеросс. Она его полностью перестроила и тут же сдала в аренду сыну Дугласа Фербенкса. Диана была необычайно элегантна, красива и капризна. О ее причудах ходили легенды. Пегги Гуггенхейм, купив палаццо за 60 тысяч долларов, продолжая традиции экстравагантных предшественниц, устроила на крыше солярий, где всегда загорала обнаженной. Как раз напротив палаццо находился банк, и клерки частенько толпились у окна, наблюдая за Пегги. Эта ее привычка возмущала жителей Венеции, которые недвусмысленно высказывали свои эмоции. Пегги, в свою очередь, тоже изменила интерьер палаццо, сделав его простым и удобным. Она разместила свою огромную коллекцию картин и скульптур, устроила галерею, словом, старинный дворец зажил новой жизнью.
Пегги была влюблена в Венецию, она приобрела две гондолы, облачив гондольеров в стилизованные костюмы, в которых доминировали ее любимые цвета: белый и бирюзовый. Четырехчасовая прогулка по каналам стала ее ежедневным ритуалом. Она сократила прогулки до двух часов будучи уже в весьма преклонном возрасте. Ее венецианский палаццо служил временным пристанищем многим известным людям, среди которых были Марк Шагал и Жан Кокто, Генри Мур и Сол Стейнберг, Теннесси Уильямс и Сомерсет Моэм, Игорь и Вера Стравинские, Чарли Чаплин и Трумэн Капоте. Кто-то из них просто навещал Пегги, кто-то гостил неделями или даже месяцами.
«Палаццо в Венеции был обиталищем муз, – вспоминает одна из приятельниц Пегги, художница Рита Альберт, – тут звучала музыка, создавались художественные полотна, актеры соревновались в мастерстве, писатели читали фрагменты новых произведений».
Пегги сидела, скорее, восседала на старинном венецианском кресле-троне в окружении своих любимых белоснежных болонок. Их всегда было в доме около полудюжины. Им она давала запоминающиеся имена и безмерно баловала.