Брюс, который в качестве главы Приказа артиллерии опекал и «утешал» Денбея, начал грезить Японией. Брауншвейгский резидент в России Ф.-Х. Бебер в своих «Записках» рассказывает, что Брюс мечтал найти путь из России в Японию и послал экспедицию, которая отчалила от дальневосточного побережья на поиски этой неведомой земли, но в бурю погибла. Ещё Вебер сообщал: «У сего Брюса был кабинет китайских редкостей, и он очень сожалел, что невозможно никак приобрести точных сведений о положении и особенностях Китайского государства, потому что наряжаемые туда посольства и все русские купцы не имеют права оставаться там долее 3 или самое большее 4 месяцев».
Пётр давал Брюсу и весьма деликатные поручения: поиск в Европе умов и талантов, которые могли бы послужить процветанию России. В 1711 г. царь отправил его в Берлин «для найму мастеровых людей знатных художеств, которые у нас потребны». Вполне доверяя широким познаниям и деловой экономности Брюса, царь в сопроводительной грамоте писал: «И что он, генерал наш, им в контрактах обещает и заключит, то от нас всё сдержано будет без умаления».
Брюс был возведён в графское достоинство и получил в награду 500 крестьянских дворов. В.Н. Татищев утверждал, что Пётр, желая придать Брюсу более значительности на переговорах, намеревался сделать его действительным тайным советником. Это второй после канцлера чин «Табели о рангах». Но честный и щепетильный Брюс отказался и «сам его величеству представлял, что хотя он подданой, но иноверец, оный чин ему неприличен и может впредь его величеству подать причину к сожалению».
Камер-юнкер Ф.-В. Берхгольц, прибывший в Россию в свите герцога Голштинского, отмечал в своём дневнике, что русский царь оказывал
Брюсу особенное расположение. Так, на свадьбе дочери И. Мусина-Пушкина в 1721 г. Пётр «сидел недалеко от входных дверей, но так, что мог видеть танцевавших, около него сидели все вельможи, но его величество большею частью разговаривал с генерал-фельдцейхмейстером Брюсом, сидевшим подле него с левой стороны». Брюс был не только верным исполнителем державных замыслов Петра, но и принимал участие в его семейных делах. Пётр поручил Якову Вилимовичу регулярно посещать царевича Алексея, очевидно, надеясь, что беседы умного и широкообразованного человека повлияют на непутёвого наследника. При дворе царевича состояла и супруга Брюса Мария Андреевна (Маргарита Мантойфель). Заметим, что под смертным приговором Алексею Брюс свою подпись не поставил.
Весной 1723 г. Пётр праздновал очередную годовщину бракосочетания с Екатериной. Яков Вилимович, распоряжаясь торжествами, устроил в Петербурге грандиозную процессию кораблей, поставленных на полозья и запряжённых лошадьми.