В марте 1703 года он вступил в переговоры с вождями восставших крестьян на севере Венгрии, и уже в мае Ракоци прибыл в один из повстанческих отрядов, решив встать во главе вооруженной борьбы. Он вручил крестьянам знамя, на котором был начертан девиз: «За отечество и свободу, с Богом!». Вскоре князь издал манифест с призывом к вооруженной борьбе против Габсбургов. Так началась война против Австрии, продолжавшаяся свыше восьми лет.
Восстание быстро охватило Трансильванию и Закарпатье. Повстанцы называли себя «куруцы» по аналогии с участниками восстания 1514 года под руководством Дьердя Дожи. Ракоци вел партизанскую войну, его отряды проникали даже в окрестности Вены, опустошая все на своем пути.
К концу года почти вся территория Венгерского королевства оказалась в руках повстанцев, а в июле 1704 года при активной поддержке украинских, румынских и словацких крестьян была очищена от габсбургских войск Трансильвания.
Еще зимой 1704 года Ракоци начал создавать самостоятельное государство. Во главе его был поставлен придворный совет с обширными полномочиями в сфере политики, финансов и администрации.
Стремясь выиграть время для стягивания сил, император Леопольд предпринял попытку посредством английской и голландской дипломатии начать переговоры с Ракоци. Однако это привело лишь к временному прекращению военных действий. В декабре 1705 года повстанцами Ракоци был освобожден Задунайский край.
Но еще в сентябре 1705 года сословное государственное собрание в Сечени, не порывая открыто с Габсбургами, отказалось признать венгерским королем нового императора Иосифа I и провозгласило создание (по польскому образцу) Конфедерации венгерских сословий. Ракоци был избран «правящим князем» Конфедерации.
Были созданы органы исполнительной власти – сенат и экономический совет. Правительство начало формирование венгерской регулярной армии, провело ряд важных хозяйственных мероприятий, укрепивших экономику Венгерского королевства. В июне 1707 года Государственное собрание в Оноде утвердило закон о низложении Габсбургов с венгерского престола и провозгласило независимость. Решения Онодского государственного собрания способствовали оживлению международных связей Венгрии.
В сентябре 1707 года был подписан тайный договор с Россией, установлен обмен послами и информацией, что влияло на укрепление международного положения Венгрии.
В своей борьбе Ракоци пользовался финансовой, а в дальнейшем частично и военной поддержкой Людовика XIV, заинтересованного в ослаблении Габсбургской империи, с которой Франция вела войну. Однако воспользовавшись неудачами Франции в ходе войны за испанское наследство, австрийское правительство перебросило в Венгерское королевство новые силы. Осенью 1707 года войска Ракоци вынуждены были оставить Трансильванию, а в сентябре следующего года потерпели серьезное поражение у местечка Тренчин. Военная удача отвернулась от куруцов, усилились разногласия в лагере повстанцев, а между крестьянством и дворянами все чаще стали возникать конфликты. Трудности усугубились начавшейся эпидемией язвы, а также значительным сокращением французской финансовой помощи. Да и внешнеполитическая обстановка не играла на руку повстанцам Ракоци. Политические союзники Ракоци – Россия и Франция – сами вели тяжелые войны.