Войска достигли Азова в конце июля 1695 года. Они были разбиты на три группы, каждая из которых имела своего командира: Головина, Лефорта и Гордона. Петр в этом походе, как и в маневрах, не брал на себя командования, оставаясь в скромной должности бомбардира Петра Михайлова. Письма друзьям из-под Азова он подписывал «бомбардир Piter», а друзья адресовали ответы «господину первому бомбардиру, Петру Алексеевичу».
Турки после того, как в 1642 году в результате лихой атаки донских казаков на пять лет потеряли Азов, долго и основательно его укрепляли. Возвращенная крепость была обнесена каменными стенами, впереди которых возвышался земляной вал, затем следовал ров с деревянным частоколом. В полуверсте от этих основных сооружений находились еще два земляных вала, а в трех верстах от Азова на берегах Дона стояли две каменные башни, между которыми были протянуты три железные цепи, преграждавшие выход судам из реки в море.
Сохранить в секрете направление похода и его цели не удалось. Турки усилили гарнизон крепости еще до появления русских войск. Прибывали подкрепления в Азов и во время его осады – русские не имели флота и не могли воспрепятствовать подходу турецких кораблей.
Осада крепости принесла скромные результаты. Удалось овладеть лишь двумя башнями. Осажденные тревожили русский лагерь постоянными вылазками, одна из коих нанесла русским значительный урон. Голландский матрос Яков Янсен, находившийся на русской службе, перебежал к неприятелю и сообщил ему о том, что русские имеют обыкновение после обеда ложиться отдыхать. В часы такого отдыха турки организовали вылазку, стоившую русским нескольких сот человек.
Убедившись в бесполезности осады, русские стали энергично рыть траншеи, готовясь к штурму. В одном из писем Петр сообщал: «В деле нашем, слава богу, порядок идет доброй, и уже меньше тридцати сажен от города обретаемся и, в надежде милосердия его, о благом совершении не сумневаемся».
Оптимизм царя оказался необоснованным, предпринятый 5 августа штурм потерпел неудачу – отчасти из-за того, что артиллерия не пробила бреши в крепостных стенах, а главным образом потому, что отряды штурмовавших действовали несогласованно. Это позволило туркам перегруппировать свои силы для отпора.
Неудача, однако, не привела Петра в уныние. По его повелению войска продолжали засыпать рвы и подводить к стенам траншеи. Как и накануне первого штурма, царь писал: «А здесь, слава богу, все здорово, и в городе Марсовым плугом все испахано и насеяно, и не только в городе, но и во рву. И ныне ожидаем доброго рождения».