В 1860 Джон и Изабелла поженились. Джон Гарднер был известен как мистер Джек, поэтому его супругу стали называть «миссис Джекки». Надо сказать, что высший свет Бостона, который традиционно считается центром американской аристократии, очень сдержанно принял Изабеллу. Ее нью-йоркская жизнерадостность, парижские наряды и эксцентричные европейские манеры нередко воспринимались здесь как дурной вкус, но женщина не обращала на это внимания, сконцентрировавшись на любимом супруге и семейном очаге.
Однако счастье было недолгим. Сначала смерть долгожданного первенца, потом ближайшей подруги, а в довершении диагноз врачей, что она уже никогда не сможет иметь детей, привели Изабеллу к тяжелейшей депрессии. Более двух лет она не выходила из дома. Все попытки врачей хоть как-то улучшить ее самочувствие ни к чему не приводили, и тогда Джон Гарднер решил вывезти ее в Европу.
В Европе Изабелла почувствовала себя лучше. Семейная пара много путешествовала и в 1880 даже обогнула на кораблях земной шар. У Изабеллы постепенно начал формироваться серьезный интерес к коллекционированию произведений искусства. Ее первым приобретением (в 1873) был пейзаж с овечками французского живописца Шарля Эмиля Жака (1813–1894), художника плодовитого, но малоинтересного. Лишь в 1882 она приобрела первую стоящую картину, заложившую начало ее коллекции. Это была «Мадонна» Франсиско Сурбарана — известного испанского художника XVII века.
Интерьер музея
В 1891 после смерти отца Изабелла стала обладательницей огромного наследства. Тогда окончательно было принято решение собирать коллекцию произведений искусства, и супруги активно взялись за дело. Благодаря европейскому образованию, хорошему художественному вкусу, общительности, умению заводить друзей и поддерживать отношения Изабелла Стюарт Гарднер вскоре стала одной из ключевых фигур в художественной среде США конца XIX — начала XX века. Она заказывала работы и просто помогала материально многих талантливым художникам своего времени. Не без помощи Бернард Беренсон — мальчик из эмигрантской литовской семьи — стал крупнейшим специалистом по искусству эпохи Возрождения и одним из ее доверенных агентов при закупке произведений искусства.
Прекрасно зная Италию, Изабелла Стюарт Гарднер покупала настоящие шедевры у обнищавших итальянских аристократов и сельских приходов. Уже к середине 1890-х коллекция Гарднеров занимала все пространство двух соседних домов, принадлежавших им, а также нескольких арендованных бостонских складов. Видя такое развитие событий, мистер Джек и миссис Джекки начали обдумывать идею создания музея.