Брюс был не только верным исполнителем державных замыслов Петра, но и принимал участие в его семейных делах. Петр поручил Якову Вилимовичу регулярно посещать царевича Алексея, очевидно, надеясь, что беседы умного и широко образованного человека повлияют на непутевого наследника. При дворе царевича состояла и супруга Брюса Мария Андреевна (Маргарита Мантейфель). В 1724 году во время коронации Екатерины Брюс нес перед ней императорскую корону, а супруга его была в числе пяти статс-дам, поддерживавших шлейф Екатерины.
А в следующем году именно Яков Брюс был главным распорядителем на похоронах Петра.
Екатерина I, утвердившись на русском престоле, не забыла заслуг Брюса, наградив его орденом Александра Невского. Но, увидев, как «птенцы гнезда Петрова» начали жестокую вражду, деля почести при дворе Екатерины, Брюс в 1726 году благоразумно удалился в отставку в чине генерал-фельдмаршала.
В 1727 году он купил у А.Г. Долгорукого подмосковное имение Глинки, разбил там парк, выстроил дом с обсерваторией и безвыездно жил там, занимаясь любимыми науками. Он увлекся медициной и оказывал помощь окрестным жителям, составляя лекарства из трав.
Умер Брюс в 1735 году, немного не дожив до 66 лет. Детей у него не было. Испанский посол де Лириа писал о нем: «Одаренный большими способностями, он хорошо знал свое дело и Русскую землю, а неукоризненным ни в чем поведением он заслужил общую к себе любовь и уважение».
Однако в памяти народной почему-то упрочился иной образ Брюса – колдуна и чернокнижника. Повод для подобных подозрений он сам подал еще в молодости. В конце XVII столетия в Москве была выстроена Сухарева башня, и москвичи стали замечать, что время от времени ночной порой в верхних окнах башни таинственно мерцал свет. Это друг царя Ф.Я. Лефорт собирал «Нептуново общество», увлекавшееся, по слухам, астрологией и магией. В общество входили еще восемь человек, и среди них – сам любознательный царь, неразлучный с ним Меншиков и Яков Брюс.
Говорят, Яков Брюс возглавил «Нептуново общество» после смерти Лефорта. Кроме того, на Сухаревой башне он занимался астрономическими наблюдениями. Репутация «звездочета» и глубокие научные познания Брюса порождали среди обывателей фантастические легенды.
Как рассказывал П.И. Богатырев в книге «Московская старина», москвичи уверились, «будто у Брюса была такая книга, которая открывала ему все тайны, и он мог посредством этой книги узнать, что находится на любом месте в земле, мог сказать, у кого что где спрятано»…
Основой для подобных преданий могли послужить реальные факты. Чиновники, составлявшие опись кабинета Брюса, нашли там немало необычных книг, например: «Философия мистика на немецком языке», «Небо новое на русском языке» – так обозначено в описи.