В 1785 году «Пане Коханку» принимал в Мирском замке короля Станислава Августа Понятовского, смущенного блеском здешнего богатства. Впрочем, этот блеск был недолгим, ведь Речь Посполитая вскоре пала, а стены княжеской резиденции покрылись пылью и плесенью запустения, остались лишь романтические легенды о замке, воспетом великим Адамом Мицкевичем в поэме «Пан Тадеуш» (впервые опубликована в 1834 году).
Луч надежды на возрождение былого величия под девизом «За нашу и вашу свободу!» блеснул во время восстания Тадеуша Костюшко, но его в 1794 году подавила армия Александра Суворова, выбив повстанцев из Мира. Однако самым значительным испытанием для замка стала Отечественная война 1812 года, когда между русскими и французскими войсками велись ожесточенные бои. Тогда была взорвана северо-восточная башня, где находился пороховой склад, сожжен дворец, а также разрушены фортификационные сооружения.
После Радзивиллов замок принадлежал графам и князьям Гогенлоэ, Берленбургам, Витгенштейнам, а в 1891 году комплекс приобрело знатное семейство Святополк-Мирских, фамилия которых дивным образом совпала с названием местечка. Мирские затеяли в имении новые преобразования. Пейзажная часть парка расположилась между замком и дворцом, она строилась по принципу чередования древесных групп и открытых полян. Главным структурным и художественным элементом ландшафта стал большой водоем, устроенный в 1896–1898 гг. на месте пяти прудов, и с островом в пойме ручья на месте вырубленного сада. Именно он определил основной прогулочный маршрут, который вел от парадного входа вдоль пруда к замку, затем по западной дамбе и по сосновой аллее выводил через мостик опять к дворцу.
Кстати, с вырубленным садом связано печальное поверье. На уничтожение деревьев по приказу землевладельца созвали местных крестьян. А поскольку дело было весной, и яблони стояли в цвету, крестьяне упрямились — мол, нехорошее это дело — рубить цветущий сад. Но против воли помещика не пойдёшь, он заставил их взяться за топоры. Старожилы рассказывали, что за время этих работ, да и после, когда рыли пруд, погибло немало людей, в том числе сын местной ведьмы. После такого происшествия колдунья наложила на пруд проклятие: тонуть в этих водах людям до той поры, пока не сравняется их число с числом погибших при его создании. Первой утопленницей стала княгиня Сонечка в возрасте 12 лет, а сам устроитель пруда умер на его берегу в 1898 году. Скептики могут игнорировать суеверия, но факты — вещь упрямая: даже в наши дни здесь нередко тонут люди. Хотя на вид пруд безобидный и тихий, но глубина, говорят, у него вполне достаточная для того, чтобы, неудачно нырнув, не выплыть на берег, особенно если это погружение происходит под воздействием алкоголя.