В 1814 году ему таки предоставили дебют в Павии в опере «Слезы вдовы» Пьетро Дженерали. Потом последовало приглашение в Брешию, на карнавал 1815 года, а далее — в Венецию в довольно известный театр «Сан-Мойзе». Вскоре певец заключил договор с могущественным импресарио Доменико Барбайей. Тот помог Рубини принять участие в спектаклях неаполитанского театра «Фьорентини». Джованни с радостью согласился — ведь такой контракт позволял среди прочего учиться у крупнейших певцов Италии.
Вначале молодой певец почти затерялся в созвездии талантов труппы Барбайи. Джованни даже пришлось согласиться на понижение зарплаты. Но упорство и занятия с известным тенором Андреа Нодзари сыграли свою роль, и вскоре Рубини стал одним из главных украшений неаполитанской оперы.
Следующие восемь лет певец с большим успехом выступал на сценах Рима, Неаполя, Палермо. Теперь уже Барбайя, чтобы удержать Рубини, идет на увеличение гонорара певцу.
6 октября 1825 года состоялся дебют Рубини в Париже. В театре Итальянской оперы он сначала спел в «Золушке», а затем в «Деве озера» и «Отелло».
Роль Отелло Россини специально переписал для Рубини — ведь он создавал ее первоначально в расчете на низкий голос Нодзари. В этой роли певец показал свою способность выделить порой малозаметные детали, придать всему образу удивительную цельность и правдивость.
С какой печалью, с какой болью израненного ревностью сердца проводил певец напряженную финальную сцену третьего действия с Дездемоной! «Мотив этого дуэта оканчивается довольно сложной и продолжительной руладой: здесь могли оценить мы вполне все искусство, все глубокое музыкальное чувство Рубини. Казалось бы, что всякая фиоритура в пении, исполненном страсти, должна охладить его действие, — вышло наоборот. Рубини сумел придать столько силы, столько драматического чувства незначительной руладе, что этой руладой глубоко потряс… слушателей», — писал один из современников после выступления артиста в «Отелло».
Итальянского артиста французская публика единодушно признала «королем теноров». После полугода парижских триумфов Рубини возвратился на родину. Выступив в Неаполе и Милане, певец отправился в Вену.
Первые успехи певца связаны с выступлениями в россиниевских операх. Казалось бы, стиль композитора виртуозно блестящий, полон живости, энергии, темперамента, лучше всего отвечает характеру дарования артиста.
Но свои вершины Рубини покорил в содружестве с другим итальянским композитором — Винченцо Беллини. Молодой композитор открыл ему новый увлекательный мир. С другой стороны, сам певец немало способствовал признанию Беллини, стай самым тонким выразителем его намерений и несравненным интерпретатором его музыки.