Разумеется, Гинцбург и свой интерес не забывал. Его быстрое обогащение спровоцировало донос, дошедший до императора. В нем аноним утверждал, что Гинцбург заработал на откупах около 8 млн руб. серебром: «Со дня существования России не было еврея, который имел бы состояние на миллион рублей…» Но времена на дворе стояли либеральные, и Александр II оставил донос без последствий.
В делах Евзеля участвовали его сыновья, среди которых выделялся Гораций Евзелевич (Нафтали Герц) (1833, Звени-городка Киевской губ. – 1909, Петербург, похоронен в Париже), вскоре превзошедший отца. В 1859 году Гинцбурги основали в Петербурге крупнейший в России банкирский дом «И. Е. Гинцбург» с филиалом в Париже. Гинцбурги вкладывали средства в страховое дело, добычу золота, железнодорожное строительство, участвовали в создании акционерных коммерческих банков (в том числе Киевского частного, 1868; Петербургского учетного и ссудного, 1869; Одесского учетного, 1879) и др. Гинцбурги поддерживали финансовые отношения с банкирскими домами Германии («Блейхредер и K°»), Варбурга («Мендельсон и K°») и Франции («Госкье и K°», «Камондо»). Родственными отношениями они были связаны с финансистами Западной Европы и России. Сестры жены Горация Гинцбурга Анны вышли замуж за германских, венгерских и российских банкиров. Сестра Горация Матильда стала женой племянника министра финансов Франции при Наполеоне III П. Фульда, а одна из ее дочерей – барона Эдуарда Ротшильда. Вообще Париж, где на бульваре Османн находилось отделение их банкирского дома, стал для Гинцбургов не менее привычной средой обитания, чем Петербург.
Гинцбурги постоянно сотрудничали с Государственным банком и Министерством финансов. Участвовали в размещении русских и иностранных госзаймов, в осуществлении связей с европейскими денежными рынками и банками. В 1878 году, в период Русско-турецкой войны, банкирский дом Гинцбургов подписался на военный заем на сумму 10 млн руб. (На такую же сумму подписался Государственный банк!) Разумеется, это было не обычной коммерческой операцией, а скорее демонстрацией патриотических чувств. В то же время сумма подписки свидетельствует о размерах капитала банкиров.
В 1868–1872 годах Гораций Гинцбург был гессен-дармштадтским генеральным консулом в Петербурге, в 1870 году великий герцог Гессен-Дармштадтский Людвиг III (брат Марии Александровны, жены императора Александра II) пожаловал ему баронский титул, а в 1874 году баронский титул был пожалован и его отцу Евзелю Гинцбургу. Гинцбурги приняли титул по специальному разрешению Александра II, а в 1879 году получили право пользоваться им в России потомственно. Гораций Гинцбург был возведен в ранг действительного статского советника (что еще по петровскому Табелю о рангах соответствовало генеральскому чину) и награжден высшими российским орденами. Несмотря на это, в момент резкого падения курса русского рубля Министерство финансов не оказало помощи банкирскому дому, средства которого были вложены в русские ценные бумаги.