К концу века, когда время их господства близилось к концу, шведы начали увеличивать расходы на укрепление и вооружение Нотебурга. Программа ремонта крепости, предложенная Дальбергом, была выполнена только отчасти, и сам ее автор писал в 1697 году, что «средства и прочий реквизит не позволили, чтобы все можно было довести до совершенства за это короткое мирное время с 1681 года». Не стоит, однако, преувеличивать слабость Орешка периода шведского господства. Крепость, заложенная московскими строителями, оставалась достаточно сильной.
Внутри крепость была сплошь застроена деревянными домами. Расположение построек, которых насчитывалось не менее пятидесяти, отмечено на шведских планах 1696–1702 годов. В районе церкви группировались преимущественно солдатские дома. Для солдат же предназначалось до десятка старых и новых бараков в других местах острова. В экспликации к плану 1696 года сказано, что в бараках жили 6 капралов, 3 барабанщика, 938 рядовых и слуг. На вооружении крепости находилось 20 трех-шестифунтовых орудий. В целом это был военный городок, рассчитанный на размещение артиллерийского, фортификационного, пехотного и гражданского штата.
Шведы, как уже упоминалось, сохранили и использовали московскую планировку; возможно также, что среди домов оккупационного гарнизона были такие, которые достались победителям от русского населения. Дороги и мосты над каналами завоеватели Орешка также унаследовали от русских и использовали их почти до конца своего владычества.
Оставшееся русское население посадов, расположенных на обоих берегах Невы, шведы всячески притесняли. Горожане и крестьяне уезда бежали к своим, «за рубеж». Посады постепенно опустели. На картах второй половины XVII века посад показан только с корельской стороны. На южном берегу обозначены лишь отдельные дворы. На карте около 1702 года на северном берегу Невы обозначена деревня, на южном — мыза последнего шведского коменданта крепости Г. В. Шлиппенбаха.
Таким образом, шведская оккупация вызвала упадок и разорение Орешка. Крепость в истоке Невы в тот период была направлена против построившего ее народа и оставалась яблоком раздора между двумя соседними государствами.
Напряженная борьба у стен Орешка — Нотебурга никогда прежде не была такой упорной, как в 1702 году. Снова, как и в предшествующие времена, здесь решался вопрос — владеть ли России выходом к морю. Имя древней крепости облетело столицы Европы. О ней писали газеты и донесения, публиковались ее изображения. Важнейшее место занимала крепость в планах русского царя. Судьба острова отныне была связана с рождением новой России.