Кстати, старожилы Гольшан вспоминают, что еще полвека назад на замковом холме была видна трещина в земле большой глубины. Что, впрочем, неудивительно, ведь в этом месте проходит локальный тектонический разлом.
Отважные гольшанские князья принимали участие в Грюнвальдской битве 14 июля 1410 года и за это получили герб в виде щита с короной наверху, поделённого на части с изображениями Центавра, Погони, Труб и Леливы (шестиугольная звезда над месяцем). А в конце XVI века, когда последняя наследница рода Гольшанских вышла замуж за подканцлера Великого Княжества Литовского, Русского и Жамойтского Павла Стефана Сапегу (1565–1635), началось глобальное переустройство местечка — там был сооружён костёл с монастырём францисканцев и шикарный замок, спроектированный под влиянием голландско-фламандской архитектуры. К сожалению, Павел Сапега не имел прямых наследников, что впоследствии привело к веренице смены владельцев замка.
Величественное трёхэтажное здание окружали валы и рвы, заполненные водой речки Гольшанки, протекающей рядом. Такая фортификационная система была широко распространена в ВКЛ в XVI–XVII вв. Внутреннее убранство Гольшанского замка было изысканным: роскошная настенная живопись, витражи из стекла, полы, выложенные плиткой, по-особому украшенные печи. Зодчие того времени называли этот замок каменным цветком, быть может, потому, что он был необычно декорирован, а под землёй находились громадные сводчатые подвалы.
Слухи о сокровищах, зарытых в окрестностях Гольшан, имеют под собой реальную основу. В 1976 году неподалёку от замка был найден клад из 836 золотых монет чеканки XIV–XV веков. Однако, согласно поверью, на территории замка, как и в близлежащем городище, искать клады опасно, так как эти места считаются проклятыми.
Здешние краеведы всегда готовы поделиться с приезжими будоражащими кровь легендами. Одна из них гласит, что давным-давно бедный парень Гремислав Валюжинич полюбил знатную красавицу Анну-Гордиславу Гольшанскую, которая ответила ему взаимностью. Об их тайных встречах узнал отец девушки, который, придя в ярость, приказал замуровать юношу в замковой стене. С тех пор по округе бродит тень Чёрного Монаха (так прозвали привидение местные жители).
Компанию этому одинокому привидению периодически составляет другой призрак — Белой Дамы, также возникший благодаря жестокому замуровыванию. Он обитает по соседству — в старинном монастыре францисканцев. Предание утверждает, что четыре столетия назад, когда подканцлер Сапега выделил деньги на строительство кляштора (католического монастыря), он потребовал закончить работу к определённому сроку. Поначалу работа у строителей спорилась, но по непонятным причинам одна из стен монастыря трижды обрушивалась. Тогда рабочие решились на безумный поступок и постановили, что тот, кто первым заглянет утром на стройку, будет в качестве жертвы замурован в злосчастную стену. Напрасно всю ночь молился недавно женившийся молодой каменщик — именно на его супругу пал этот скорбный жребий. Всё же монастырь был успешно достроен, хотя несчастья на этом не кончились…