По инициативе воеводы Симона Сангушко-Ковельского (умершего в ноябре 1638 г.) в 20-е годы XVII века началось строительство замка с мощными оборонительными укреплениями. Но ограничиваться лишь возведением неприступной крепости хозяин Смольян не захотел и пригласил зодчего из Голландии, который привнес в комплекс роскошные ренессансные черты.
Уникальным замок сделало сочетание западноевропейской архитектуры и белорусского зодчества. Влияние голландского стиля проявилось в орнаменте оконных проемов, во внешнем декоре и внутреннем убранстве, а народная архитектура — в выборе строительных материалов.
Строения замка размещались таким образом, чтобы освещение во всех покоях и залах было равномерным. В плане это был замкнутый прямоугольник с выступающими угловыми трехъярусными башнями и дополнительной пятиярусной высотой более 20 метров, расположенной рядом с большими главными воротами. Вокруг были насыпаны высокие валы с угловыми бастионами, где в укрытиях установили дальнобойные пушки. Снаружи — глубокий ров, куда вода поступала из заболоченных окрестностей. Стены замка были оштукатурены и покрашены в белый цвет, поэтому его стали именовать Белым Ковелем.
На нижнем ярусе здания размещались плоские ниши с рельефно оформленными родовыми гербами, совпадавшими с государственным гербом «Погоня». Со стороны двора на втором и третьем этажах находились полузакрытые галереи. Комнаты соединялись между собой арочными переходами и винтовыми лестницами. Отапливались помещения каминами, поражавшими гостей уникальными изразцами с геральдическими, растительными и портретными сюжетами. Стены парадных и жилых комнат были расписаны фресками на разнообразные сюжеты. Известно, что сам Симон Сангушко серьезно увлекался живописью и гравюрой, но в старости он приказал заменить светлые, полные жизни и внутренней гармонии настенные росписи на фрески религиозной тематики, навевающие грустные мысли о неотвратимости смерти.
>Смольянский замок на рисунке художника Юзефа Пешки
Непосредственно в замке жила только магнатская семья и приближенные. Перед дворцом сделали пруд с мостом и перилами, за которым тянулись хозяйственные постройки и жилые помещения для челяди. От моста начиналась улица, ведущая к центральной площади Смольян, где располагались деревянная ратуша и торговые ряды. Местечко славилось своими ярмарками, о которых вдохновенно писал Владимир Короткевич в очерке «Земля под белыми крыльями».
Но спокойная жизнь Смольянского замка была недолгой. Он сильно пострадал во время уже упоминавшейся войны между Речью Посполитой и Российским царством, названной польским писателем Генриком Сенкевичем «кровавым потопом». Не обошла стороной эти места и Северная война. Тогдашний владелец замка магнат Павел Кароль Сангушко (1680–1750) встал на сторону короля Карла XII и разрешил ему устроить в крепости опорный пункт шведской армии. Однако в августе 1708 года казаки, поддерживавшие царя Петра, взяли штурмом Смольянский замок. Удержать его они были не в силах, поэтому, недолго думая, решили действовать по принципу «так не достанься же ты никому!» и взорвали замок.