В 1724 г. во время коронации Екатерины Брюс нёс перед ней императорскую корону, а супруга Брюса была в числе пяти статс-дам, поддерживавших шлейф Екатерины. А в следующем году Брюсу пришлось в последний раз служить своему державному другу – он был главным распорядителем на похоронах Петра I.
Екатерина I, утвердившись на русском престоле, не забыла заслуг Брюса, наградила его орденом Александра Невского. Но увидев, как «птенцы гнезда Петрова», прежде дружно служившие русскому государству, начали враждовать, делить почести и сферы влияния при дворе Екатерины, Брюс в 1726 г. предпочёл удалиться в отставку в чине генерал-фельдмаршала. В 1727 г. он купил у А.Г. Долгорукого подмосковное имение Глинки, разбил регулярный парк, выстроил дом с обсерваторией и безвыездно уединился в имении, занимаясь любимыми науками. Он увлёкся медициной и оказывал помощь окрестным жителям, составляя лекарства из трав. Брюс скончался в 1735 г., немного не дожив до 66 лет. Детей у него не было.
Однако со временем в памяти народной упрочился иной образ Брюса – колдуна и чернокнижника. Повод для подобных подозрений Брюс подал ещё в молодости. В конце XVII в. в Москве была построена Сухарева башня, и москвичи с суеверным страхом стали замечать, что время от времени ночной порой в верхних окнах башни мерцал таинственно свет. Это друг царя Ф.Я. Лефорт собирал «Нептуново общество», увлекавшееся, по слухам, астрологией и магией. В общество входили ещё восемь человек и среди них – сам любознательный царь, неразлучный с ним Меншиков и Яков Брюс.
Тяготение к тайноведению у Брюса было, можно сказать, наследственным. Его предок шотландский король Роберт Брюс в XIV в. основал Орден святого Андрея, объединивший шотландских тамплиеров. По преданию, Яков Брюс после смерти Лефорта возглавил «Нептуново общество». Кроме того, на Сухаревой башне он занимался астрономическими наблюдениями. Репутация «звездочёта» и глубокие научные познания Брюса порождали среди обывателей фантастические легенды. Как рассказывал П.И. Богатырёв в очерках «Московская старина», москвичи уверились, «будто у Брюса была такая книга, которая открывала ему все тайны, и он мог посредством этой книги узнать, что находится на любом месте в земле, мог сказать, у кого что где спрятано… Книгу эту достать нельзя: она никому в руки не даётся и находится в таинственной комнате, куда никто не решается войти».
Основой для подобных преданий могли послужить реальные факты. Чиновники, составлявшие опись кабинета Брюса, нашли там немало необычных книг, например: «Философия мистика на немецком языке», «Небо новое на русском языке» – так обозначено в описи. Была и вовсе загадочная книга, состоявшая из семи деревянных дощечек с вырезанным на них непонятным текстом. Народная же молва утверждала, будто магическая Брюсова книга принадлежала некогда премудрому царю Соломону. И Брюс, не желая, чтобы она после его смерти попала в чужие руки, замуровал её в стене Сухаревой башни. А после того как башня была разрушена, стали поговаривать, что случилось это неспроста и виной всему – могучие и опасные чары, заключавшиеся в Брюсовой книге. Да и саму смерть Брюса порой приписывали его магическим экспериментам.