Ходили слухи, что Гинцбург финансировал «Священную дружину» – тайное общество, созданное для борьбы с революционерами их же методами, вплоть до терроризма. После цареубийства 1 марта 1881 года некоторые высокопоставленные верноподданные, включая министра двора графа Иллариона Ивановича Воронцова-Дашкова, флигель-адъютанта графа Павла Петровича Шувалова, решили, что полиция со своими обязанностями не справляется и надо взяться за дело охраны царя и борьбы с революционерами самим. Любопытно, что одним из тех, кто независимо от столичных аристократов заявил, что с «анархистами надо бороться их же оружием», был не кто иной, как Сергей Юльевич Витте, служивший в то время в Киеве на Юго-Западных железных дорогах. Витте был вызван в Петербург, принес присягу на Евангелии в верности тайному обществу и отправлен обратно в Киев организовывать «пятерки». Затем будущего министра финансов отправили в Париж для контроля за осуществлением убийства одного из русских революционеров. Однако до дела не дошло, ибо в этот момент сообщество «взволнованных лоботрясов» (выражение Салтыкова-Щедрина), путавшихся под ногами у профессионалов сыска, было распущено по требованию департамента полиции.
Гораций Гинцбург входил в состав нескольких правительственных комиссий. В 1887 году он был приглашен экспертом в комиссию для рассмотрения законодательства о евреях под председательством бывшего министра юстиции графа Константина Ивановича Палена. До 1892 года, когда было запрещено участие евреев в городском самоуправлении, состоял гласным Петербургской городской думы. С 1893 года Гораций Гинцбург возглавлял в России центральный комитет Еврейского колонизационного общества, созданного в 1891 году для содействия переселению евреев из Восточной Европы в Аргентину, а затем в Палестину.
После смерти Горация петербургскую еврейскую общину возглавил его сын Давид Горациевич Гинцбург, ученый-востоковед, один из инициаторов издания и редакторов «Еврейской энциклопедии». Давид и его брат Александр входили в состав Кружка 1905 года о равноправии национальностей, собиравшегося у министра просвещения графа Ивана Ивановича Толстого. Сыновья Горация Гинцбурга участвовали в ряде акционерных обществ и компаний (Верхнеамурская золотопромышленная компания, акционерное общество «Платина», Сергинско-Уфалейские горные заводы, акционерное общество пиво-медоваренного завода в Москве, свеклосахарные заводы, Российское золотопромышленное общество и др.).
Революция 1917 года смыла не только многих политиков и деятелей культуры, но и тонкий слой российских предпринимателей. Вынужден был покинуть Россию и клан Гинцбургов.