В народе ходил анекдот о том, как Гораций Гинцбург как-то ехал вместе с Николаем II в карете. Мимо проходил мужик, который, увидев эту картину, восклинул: «Надо же! Жид с царем едет!» Мужика схватили и совсем уж было высекли, когда Гораций освободил пленного и подарил рубль за то, что лишний раз напомнил ему, что он еврей.
Гинцбурги были не только талантливыми финансистами, но и ярыми защитниками прав своих соплеменников. Не раз Гораций пользовался своими связями в высшем обществе, чтобы защитить евреев от очередных притеснений, старался участвовать в разработке новых еврейских указов и законов. Поговаривали даже, что некоторые представители власти намеренно придумывали какой-нибудь устрашающий закон, чтобы Гинцбург примчался с очередным подношением выкупать собратьев.
В 1863 г. в Петербурге основано Общество для распространения просвещения между евреями в России, председателем которого до 1878 г. был Евзель Гинцбург, а потом и Гораций. Первая Хоральная синагога в Петербурге построена под руководством и при помощи средств Горация, ему удалось выхлопотать у государя разрешение на строительство. Самый большой денежный вклад в работу над синагогой принадлежал также ему – 70 000 рублей. Он же инициировал создание Петербургской еврейской общины.
Хоральная синагога в Санкт-Петербурге
Впрочем, Гинцбургу нравилось выступать и покровителем искусств вообще. К примеру, он финансировал обучение скульптора Марка Антокольского. А в Петербургской консерватории учредил стипендию, стал соучредителем Петербургского археологического института и Института экспериментальной медицины. Он помог создать Высшие женские Бестужевские курсы – своего рода частный университет, содержавшийся на благотворительные средства. Учредил Общество дешевых квартир в Петербурге, участвовал в работе Общества по улучшению условий жизни бедных детей, попечительствовал Школе коммерции императора Николая II и т. д. Гинцбург участвовал практически в каждом образовательном проекте Петербурга в середине XIX в.
Все изменил приход к власти императора Александра III, отношение которого к евреям было, по словам историков, «апофеозом злобствования, безграмотности и узколобой антихристианской мстительности». Волна погромов, прокатившаяся по стране, больно ранила Гинцбурга, который был патриотом России и противником эмиграции. Однако в 1893 г. он возглавил центральный комитет Еврейского колонизационного общества, которое помогало – в первую очередь ссудами – евреям, напуганным погромами, уезжать в Америку, Аргентину, Эрец-Исраэль (Израиль). Вскоре под его патронажем работало 507 эмиграционных комитетов. Впоследствии именем Гинцбурга будет названа земледельческая колония в Аргентине.