Однако Джону Гарднеру не суждено было увидеть воплощение этой мечты. В 1898 он умер. Миссис Гарднер осталась одна, теперь весь смысл ее существования заключался в их коллекции, но она понимала, что собранные предметы искусства могут существовать как единое целое, только если будут представлены в одном помещении. И тогда Изабелла купила участок земли на улице Фенуэй и заказала архитектору Уилларду Сирсу проект. Страстно любившая Европу, а особенно Венецию, она поставила перед зодчим задачу сделать дом, по своему стилю повторявший палаццо эпохи Возрождения, а для более точного воспроизведения натуры закупила в Италии аутентичные двери, колонны, полы и органично вписала все это в здание будущего музея.
В 1901 Изабелла поселилась на четвертом этаже в новом доме и начала оформление экспозиции на трех нижних этажах. Она сама решала, что, где и как будет выставлено. Так появились произведения, которые не были подписаны, потому что хозяйка не хотела, чтобы известное имя заслоняло качество работы. Иногда в одном пространстве она вполне произвольно соединяла вещи разных времен и из разных регионов (например, буддийскую стелу из раннесредневекового Китая и средневековую европейскую скульптуру).
В 1903 музей открылся для посетителей. Сначала вход был бесплатный, но вскоре миссис Гарднер увидела, как одна посетительница пытается отрезать кусочек от старинного гобелена. После этого была установлена очень высокая плата за вход, а музей функционировал три месяца в году. До 1919 миссис Гарднер сама руководила им, а после перенесенного инсульта передала управление одному из своих воспитанников Моррису Картеру, до этого работавшему в местном Музее изящных искусств.
Изабелла Стюарт Гарднер умерла в 1924. К этому моменту ее коллекция насчитывала более 2500 произведений искусства. Ее, а также дом (Фэнуей Корт) и один миллион долларов (гигантская сумма в то время) на их содержание она завещала Бостону. Особо оговаривалось, что ни один предмет не будет перенесен или изъят из экспозиции, в противном случае город теряет имущественные права и все перейдет к ее родственникам.
Интерьер музея
Злая судьба достала Изабеллу Гарднер даже после смерти. В майскую ночь 1990 грабители, переодевшись полицейскими, приехавшими на вызов, обезоружили охрану и вынесли из музея 13 работ, среди них — картины Вермеера, Рембрандта, Дега, Мане. С трудом пережив потерю, дирекция музея решила оставить на местах пустые рамы, которые должны были стать укором для людей, потревоживших память женщины, создавшей «вечный источник знаний и радости для всех людей».