Умер фельдмаршал Яков Брюс в 1735 году, прямых наследников не оставил. До нас дошли чиновничьи документы с посмертной описью кабинета Брюса, в которой указано большое количество необычных книг, например «Философия мистика на немецком языке» или «Небо новое на русском языке», и даже загадочный труд, состоявший из семи деревянных дощечек с вырезанным на них непонятным текстом. Писари детально зафиксировали и другие странные находки: «зеркало кругловитое небольшое, в котором кажет большое лицо», «раковин разных больших и малых 99», «туфли китайские плетеные из травы», «гриб каменный», «тыква индейская», «кость мамонтовой головы», «янтари, в которых есть мушки», коробочка с «маленькой натуральной змейкой», «некакой фрукт продолговатый», «два мячика некакого фрукта».
До сих пор отголоски суеверных глупостей о чудесном и таинственном «колдуне» и «чернокнижнике», «московском Нострадамусе» из Сухаревской башни гуляют по беллетристике, странным образом проникая иногда на страницы исторических книг. Но еще Лев Толстой говорил, что
«вся чудесность Брюса состояла в разносторонних энциклопедических знаниях, что и пугало простой народ, которому было невдомек, как это обыкновенный человек мог знать столько премудростей».
Иосиф Сталин разрушил Сухаревскую башню. От некогда выдающегося строения остались только фотографии и воспоминания. Могила Якова Брюса также была разрушена, останки графа утрачены. В фондах Государственного Исторического музея хранятся лишь его отреставрированные кафтан и камзол. Вполне возможно, Яков Вилимович гулял в них по залам облюбованной им башни, с высоты которой было так удобно наблюдать с помощью телескопа за звездами над ночной Москвой.
Вот что говорит о Брюсе академик Владимир Иванович Вернадский в своих «Очерках по истории естествознания в России»:
«Он казался чудаком-ученым, в ученом уединении переживавшим ту бешеную борьбу за власть и богатства, какую вели “птенцы” и сподвижники Петра в те 12 лет, который старый фельдмаршал провел в деревенском уединении. Брюс не дождался и биографа; его роль в культурной и творческой работе русского общества нам до сих пор неясна. В народной легенде этот точный ученый нового времени сохранил облик чародея и астролога. Образ Брюса-астролога создался календарем; Брюса-чернокнижника – его участием в каких-то опытах, производившихся, по преданию, в Сухаревой башне в Москве, где помещалась в это время Навигацкая школа. Может быть, здесь была лаборатория Брюса. В действительности Брюс был первым русским экспериментатором и первым наблюдателем-астрономом, о котором сохранились у нас исторические данные».