Между тем война продолжалась. Карл XII, считая Польшу наиболее опасным противником, развернул там активные боевые действия. Петр направил на помощь Августу II войска, однако до побед было далеко: в июне 1701 года шведы снова разбили под Ригой русско-польскую армию. И только 18 декабря 1701 года Борис Шереметев нанес поражение шведам под Эрестфером и разорил Дерптский уезд (окрестности Тарту). Определенную роль в этой победе сыграли запорожские казаки, однако они не так хотели воевать, как грабить население. Запорожские казаки были постоянным источником волнений и на юге России. Им хотелось прежней вольности, походов за богатой добычей, а не тяжелой войны в северных болотах. В 1701 году казаки разгромили селитряные заводы на реке Самаре (левый приток Днепра), ограбили шедших из Турции купцов, что едва не привело к конфликту с Османской империей. Правительство терпело эти выходки — попытки привести казаков к повиновению силой могли отозваться волнениями на всем юге, а власти больше всего боялись гражданской войны.
В июле 1702 года Борис Шереметев одержал блестящую победу над шведами у Гуммельсгофа. Вся Лифляндия лежала перед русскими войсками, которые продвинулись вплоть до Риги; в руках неприятеля остался еще лишь Ревель. К России перешли старинные русские крепости Ям и Копорье. Петр провел лето в Архангельске, опасаясь, что шведы ударят там, но в сентябре вернулся на Ладогу и повел войско к древнему новгородскому Орешку (Нотебург). После непродолжительной осады шведский гарнизон сдался. Крепость была переименована в Шлиссельбург — «Ключ-город». Весной 1703 года русские войска двинулись вниз по Неве и легко заняли маленькую крепость Ниеншанц в устье реки. К началу мая 1703 года Россия отвоевала все побережье Балтики от Нарвы до устья Невы. 16 мая на одном из островов невской дельты был заложен городок Питербурх. Вскоре после этого на острове Котлин началось строительство крепости Кроншлот (будущий Кронштадт), которой предстояло утвердить присутствие России на Балтике.
Северная война от прошлых войн отличалась массовым использованием огнестрельного оружия. Это самым серьезным образом изменило характер ведения военных действий. Конница уступила место пехоте. Для того чтобы одерживать победы, требовалось множество вымуштрованных солдат-профессионалов, без колебаний готовых исполнить любой приказ. Дворяне могли хорошо воевать, но требовать беспрекословного подчинения от них было невозможно. Наемников-пехотинцев не хватало, и армию стали формировать принудительно. Для дворянства такая служба перестала быть почетной, поэтому в Европе в солдаты шли люди из низших сословий.