Вместе с Петром Брюс воевал под Азовом. Когда Пётр в составе Великого посольства отправился за границу, Яков в 1697 г. прибыл к нему в Амстердам.
Вместе с Петром входя в состав Великого посольства, он посетил Англию. В Лондоне русский царь и Брюс встречались и беседовали с великим Исааком Ньютоном. За границей Брюс изучал математику и организацию артиллерийского дела. Война со Швецией была неизбежной, и Россия нуждалась в обновлённой мощной артиллерии. Это ответственное поручение и было возложено на Брюса.
Яков Брюс. Гравюра XVIII в.
В 1700 г., стремясь предупредить вторжение шведов в Ижорскую землю, Пётр выслал им навстречу войско под начальством Брюса, носившего уже чин генерал-майора артиллерии. Но неслаженность действий различных ведомств привела к тому, что Яков Вилимович не смог быстро собрать стоявшие в разных местах полки. В кабинетных делах Петра сохранилась запись: «28 июля 1700 посланы из Москвы Яков Брюс, Иван Чамберс, Василий Корчмин до Новгорода наскоро. Они поспели в Новгород в 15 дней, за что гнев восприял от его величества Яков Брюс и от команды ему отказано».
Однако царская опала не была продолжительной. Дальнейшие события и особенно поражение под Нарвой показали, что не только Брюс, но и всё русское войско ещё не готово было противостоять шведской армии. В 1701 г. Брюса направили в Новгород вместо новгородского воеводы князя И.Ю. Трубецкого, взятого в плен под Нарвой.
Яков Вилимович спешно принялся укреплять город, строить пушечный двор, изготавливать снаряды, обучать пушкарей.
Русская армия начала новое наступление. Брюс, не успев обжиться в Новгороде, кочевал со своими пушками по военным дорогам. В 1702 г. при его участии был взят Шлиссельбург, потом другие крепости, занятые шведами. Под его началом были открыты навигацкая, артиллерийская и инженерная школы.
Письма Якова Вилимовича почти не раскрывают его личной жизни, это деловые сообщения о количестве пушек и артиллерийских припасов, о выполненных царских поручениях и т. д. Казалось, личной жизни у него не было вовсе, все его помыслы и старания посвящены служению России. И всё-таки этот суровый, замкнутый человек знал увлечения и волнения, понятные немногим: он был страстным коллекционером. Брюс собирал картины, древние монеты и редкие минералы, гербарии. Он владел несколькими языками и имел богатейшую по тем временам библиотеку. О широте научных познаний и интересов Брюса говорят его книги – по математике, физике, химии, астрономии, медицине, ботанике, истории, искусству и т. д. Но особенно гордился Яков Вилимович домашней кунсткамерой – собранием различных раритетов и «курьёзов».