К сожалению, этот проект, представленный Петру I в 1718 году, так и не был воплощен в жизнь.
После смерти императора Яков Брюс удалился в подмосковное имение Глинки, где выстроил дом с обсерваторией, разбил парк и занялся в одиночестве любимыми научными изысканиями. Сохранились свидетельства о том, что Брюс лечил местных жителей, составляя различные лекарства из трав. Регулярно общался Яков Вилимович только с лютеранским пастором. Испанский посол де Лириа писал о нем:
«Одаренный большими способностями, он хорошо знал свое дело и Русскую землю, а неукоризненным ни в чем поведением он заслужил общую к себе любовь и уважение».
Ирония судьбы в том, что именно из-за Сухаревской башни протестант Яков Брюс, получивший за высокие заслуги перед Россией чин фельдмаршала, обрел в среде простого народа известность не военного героя и ученого человека, а волшебника и черно-книжника.
Пугающие слухи о царском колдуне распространились по Москве после того, как суеверные горожане стали замечать, что ночной порой в верхних окнах башни часто мерцает свет. Согласно преданиям, именно в темное время суток в фехтовальной комнате башни проходили под руководством Лефорта и Брюса заседания некоего секретного «Нептунова общества». Точных исторических сведений о том, чем занимались члены этого общества, не сохранилось. Опять же согласно преданию, после смерти Лефорта именно Брюс возглавил тайное собрание. Своим замкнутым образом жизни Яков Вилимович только увеличивал количество различных фантастических россказней вокруг себя. Ранее уже говорилось, что в башне была устроена обсерватория, в которой ночью созерцались звезды.
«Сухарева башня весьма популярна в России – миллионы рисунков с нее разошлись по всем городам. Это очень красивое, высокое, оригинальной архитектуры здание построено Петром Великим в честь Сухаревского стрелецкого полка, оставшегося верным ему вместе с Бутырским полком во время стрелецкого бунта. Сухаревский же полк получил свое название в честь своего полковника Сухарева, искренне преданного Петру. Петр устроил на Сухаревой башне Навигационную школу, где молодые люди обучались морскому делу, тогда еще новому на Руси. Про эту башню в народе существуют фантастические сказания.
Рассказывают, что в ней проживал колдун-звездочет Брюс и что он сделал из цветов женщину; спрыснул он ее сначала “мертвой” водой – и она воплотилась, а потом вспрыснул “живой” водой – и она ожила. Будто у Брюса была такая книга, которая открывала ему все тайны, и он мог посредством этой книги узнать, что находится на любом месте в земле, мог сказать, у кого что где спрятано… Книгу эту достать нельзя: она никому в руки не дается и находится в таинственной комнате, куда никто не решается войти. Основанием для таких вымыслов служило, конечно, то, что Брюс был образованный человек, занимался астрономией и избрал для этого Сухареву башню», – пишет Петр Богатырев в одном из очерков «Московская старина».