Весной 1723 года, когда Петр праздновал очередную годовщину бракосочетания с Екатериной, Яков Вилимович, распоряжаясь торжествами, устроил в Петербурге грандиозную процессию кораблей, поставленных на полозья и запряженных лошадьми.
Французский посланник Кампредон рассказывал: «Царь ехал на 30-пушечном фрегате, вполне оснащенном и с распущенными парусами. Впереди в шлюпке в виде бригантины с трубами и литаврами на носовой части оного ехал распорядитель праздника, главный начальник артиллерии граф Брюс».
7 мая 1724 года во время коронации Екатерины Брюс нес перед ней новую императорскую корону, а супруга Брюса была в числе пяти статс-дам, поддерживавших шлейф Екатерины. А 28 января 1725 года Брюс в последний раз служит Петру I, будучи главным распорядителем на его похоронах.
После смерти Петра Брюс продолжает свои занятия и по коллегиям, и по артиллерии, но начавшийся передел власти между вельможами вынуждает его просить отставки. Надо полагать, что поводом к ней послужило невключение Брюса в состав Верховного тайного совета, учрежденного Екатериной I. Недоверие к новому правительству выражается в просьбе Брюса к Екатерине I выдать ему специальную Жалованную грамоту, подтверждающую права на поместья и графский титул. 31 марта 1726 года новоиспеченная императрица удовлетворяет эту просьбу, и 6 июня Брюс выходит в отставку с чином генерал-фельдмаршала и орденом Александра Невского. Вместе с женой он переезжает в Москву и покупает у А. Г. Долгорукова подмосковное «сельцо Глинково» в 42 верстах от Москвы, при впадении реки Вори в Клязьму.
Отойдя от дел государственных, Яков Вилимович серьезно занялся любимым делом – наукой. Обустроив усадьбу Глинки и оборудовав в ней обсерваторию, он продолжил астрономические наблюдения, время от времени наведываясь в Москву, в Сухареву башню. Кроме того, он занимается проблемами чистой математики, разработкой проблем практической оптики, нахождением точных методов определения удельного веса металлов, отыскиванием способов очистки металла от посторонних примесей. (Его ученик В.Н. Татищев, будучи одним из руководителей московского Монетного двора, привлек его к работе.)
Установленный Брюсом удельный вес золота, серебра, меди практически не отличается от современных значений. А хранящееся в Государственном Эрмитаже большое вогнутое металлическое зеркало для отражательного телескопа, изготовленное «собственным тщением» Брюса в августе 1733 года, и две, им же изготовленные зрительные трубы не уступают лучшим образцам и более позднего времени.