Пётр тут же запретил каменное строительство на Руси и ввёл «каменный» налог. Каждый въезжающий в город обязан был привезти с собой камни или заплатить деньги. Лишившись заработка на местах, все каменщики потянулись сюда, в город, которого ещё не было. Каждый работник на строительстве крепости получал жалованье один рубль в месяц и казённый кошт. Из 3262 строителей крепости за время строительства умерло 27 человек.
Прослышав о строительстве крепости в дельте Невы, сюда направился шведский отряд с целью уничтожить русских и разрушить постройки. Пётр сам, во главе восьмитысячного отряда, 7 июля пошёл в наступление и разбил шведов, заставив остатки уйти в Выборг.
На острове Котлин начали сооружать батарею в виде трёхъярусной деревянной башни, закончив строительство к маю 1704 года, – дабы уберечь будущий город от нападения с моря. Через много лет крепость станет каменной и получит новое название – Кронштадт.
Возведение каменных бастионов Петропавловской крепости начнётся в 1706-м и закончится в 1740 году. Через протоку от крепости начнут возводить каменный Кронверк, ставший затем артиллерийским цейхгаузом, а ныне – Артиллерийским музеем.
В 1703 году быстрыми темпами начал строиться сам город – на Васильевском острове и Петербургской стороне. В 1704 году на левом берегу Невы начали строить Главное Адмиралтейство. На Березовом острове возникают первые улицы. Вблизи Троицкой площади появились Большая и Малая Дворянские улицы, Посадская, Ружейная, Пушкарская, Монетная, Гребецкая. А вдоль самой Невы расположились дома именитых людей – А.Д. Меньшикова, Г.И. Головкина, И.М. Зотова, М.П. Гагарина.
Дворяне в Москве, получив сведения о строительстве крепости и города, забеспокоились. В Москве земля дорогая, тесно, места для строительства не хватает. Да и, по слухам, царь новому городу благоволит. И потянулись дворянство, купцы и прочий именитый и богатый люд к устью Невы. Многие сразу ехали обозами, в которых везли работных людей – плотников, столяров, каменщиков, печников. Ну и заодно кухарок, портомоек, швей.
Государь щедро отмерял вновь прибывшим землю. Однако чудинка у Петра была: в первую очередь он занялся не улицами и дорогами, а каналами, и передвигаться велел на яликах и лодках.
Взяв деньги и несколько слуг, поехал на Неву и Андрей. Столица вскорости будет там, Москва станет городом второстепенным, и поэтому он хотел напомнить Петру об обещании дать землю под строительство по соседству с сиятельным Меншиковым. Потом уже поздно будет хлопотать.
На одной из остановок под Тверью, на постоялом дворе, Андрей нос к носу столкнулся с боярином Пушечного приказа Кутафиным.