Одновременно с восстанием в Башкирии начался мятеж на Дону, который возглавил казачий атаман Кондратий Булавин. Непосредственным поводом к бунту стало прибытие на Дон отряда князя Юрия Долгорукова для розыска беглых. Сыск проводился жесточайшим образом. Люди Долгорукова сжигали станицы, били казаков кнутом, резали носы, записывали в «беглые» жен и детей казаков, ушедших на войну. За свое исконное право не выдавать беглых казаки готовы были стоять до конца, и 9 октября 1707 года Булавин со своими людьми истребил отряд Долгорукова. Это послужило сигналом — по всему Дону казаки стали нападать на розыскные отряды. После этого пути к отступлению не было. Булавин рассылал повсюду «прелестные грамоты», приглашая «атаманов-молодцов, дорожных охотников, вольных всяких чинов людей, воров и разбойников… по чисту полю красно походить, сладко попить да поесть». «Дорожных охотников» сыскалось немало. Летом 1708 года к Булавину присоединились запорожские казаки, под Тамбовом крестьяне начали громить усадьбы. Правительству отказалась подчиняться вся южная Россия от Днепра до Волги. 9 мая 1708 года Булавин был избран войсковым атаманом. Петр, который вел тогда войну в Литве и Польше, уже собирался сам возглавить борьбу с мятежом. Дело в том, что Карл XII весной 1708 года стремительно двинулся на Украину, рассчитывая на поддержку гетмана Мазепы. Русские войска на Украине оказывались под ударом. Война с Булавиным становилась составной частью Северной войны.
Но восставшие держались вместе только до первого поражения. Как только правительственные войска разгромили повстанцев у стен Азова, часть казачества выступила против Булавина. 7 июля 1708 года он был убит своим же есаулом. Вплоть до лета 1709 года царские войска с исключительной жестокостью расправлялись с восставшими.
Победа над Булавиным была очень важна для Петра. Мазепа с 12-тысячным войском только что принял сторону Карла XII. Шведские и крымские агенты склоняли казаков перейти под власть крымского хана. Если бы восставшие продержались подольше, России предстояло столкнуться с коалицией Швеции, Украины и Крымского ханства.
Мятежи показали, что центральная власть не в состоянии контролировать провинции, и в ноябре 1708 года Петр провел реформу административного управления, разделив Россию на 8 губерний, которыми управляли назначенные царем губернаторы.
К счастью для Петра, после того как восстание пошло на убыль, Украина стала прислушиваться к Москве, и большая часть украинских казаков согласилась избрать гетманом Ивана Скоропадского, пользовавшегося покровительством России. Сразу после этого автономия Украины была резко ограничена. Правительство распорядилось сжечь Запорожскую Сечь и выселить запорожских казаков, поддержавших Мазепу, за Дунай.