Известность это поселение приобрело с 1391 года как владение великого князя Ягайло, а затем — его двоюродного брата Витовта. Позже имение перешло к магнату Сунигайло, жена которого в 1462 году основала в Ворнянах деревянный костел и пожаловала храму богатые дары. Но у супругов не было детей, поэтому после смерти Марины Сунигайло Ворняны вернулись в собственность великих князей. Следующим владельцем местечка стал князь Свирский — он, как и Сунигайло, был родом из здешних мест.
Среди владельцев Ворнян был и боярин Григорий Осгик, известный авантюрист XVI века: он вел переговоры с московскими агентами о захвате престола ВКЛ и передаче его Ивану IV «Грозному», чеканил фальшивые монеты и печати, подделывал документы… В конце концов, Остика арестовали и казнили, а всю его собственность конфисковали в пользу короля. О жизни этого проходимца поведал автор, подписавшийся Станиславом Лаврентием, в своей нравоучительной поэме «Плач несчастного Григория Остика, за его поступок лишенного чести и осужденного на смерть в 1580 году, месяца июня 15 дня в Вильно», изданной в типографии Николая Радзивилла.
В конце XVI века Ворняны были дарованы королем Стефаном Баторием за военные заслуги шляхтичу Яну Абрамовичу, чьи потомки жили здесь до 1860 года и подписывали все документы не иначе как «Абрамовичи на Ворнянах».
Постепенно Ворняны из захолустного местечка стали превращаться в заметный центр культуры. Удивляться этому особо не приходится, ведь Абрамович был прекрасно образованным человеком: воспитывался при дворе Радзивиллов, а ума-разума набирался в Италии, в Падуанском университете — том самом, который на полстолетия раньше присвоил ученую степень доктора медицины знаменитому жителю Полоцка, нашему первопечатнику Франциску Скорине. Абрамович был протестантом и сочинял передовые для своего времени труды. «Мнение литвина на покупку дешевого зерна и более дорогую его продажу» — столь характерный для эпохи барокко витиеватый заголовок принадлежит одной из книг магната.
Сын Абрамовича, Николай, пошёл в отца: командовал литовским войском в сражениях со шведами в Курляндии, отважно сражался во время войн с Пруссией и Московией, за что удостоился чести возглавить всю артиллерию BKЛ, не раз избирался в сейм. Он умер в 1651 году. Следующий владелец Ворнян, Самуэль Абрамович (родился в 1617, год смерти неизвестен), несмотря на образование, полученное в протестантской Голландии, перешёл в католичество и сразу же взялся за восстановление ворнянского костёла. В это время Абрамовичей связывала дружба с представителями других славных родов — Радзивиллов и Огинских.