Всё это в итоге стало основой для легенды о несметных сокровищах Радзивиллов. Считалось, что все фамильные сокровища должны были храниться именно в замке, и нельзя было их вывозить даже во время военных нашествий. Мол, с этой целью создавались тайники, о которых знали только князь и его самый близкий слуга.
Первый раздел Речи Посполитой (в 1762 году) привел к серьезным опустошениям дворцово-замкового комплекса. Генерал Захар Чернышов (1722–1784), командовавший русскими войсками, «прихватил» с собой значительную часть произведений декоративно-прикладного искусства, изделий из золота, серебра и драгоценных камней, которые были отправлены в Петербург и Смоленск.
В 1812 году, во время войны с Наполеоном, тогдашний владелец имения князь Доминик Радзивилл (1786–1813), командовавший 8-м уланским полком, был на стороне французского императора. При поспешном отступлении не успел забрать свои богатства. В Несвиж вступили русские войска и в очередной раз вывезли в Россию княжеское добро. Однако главная сокровищница так и не была найдена. На её поиски приезжали многочисленные охотники за кладами, которые в основном пытались искать сокровища в живописном парке Альба, окружающем замок.
Лишь во второй половине XIX века замок вернулся к Радзивиллам, после чего началось его расширение и дальнейшее обустройство. Появились Замковый парк, Старый парк, Японский сад, Новый парк, Английский парк. Общая площадь всего комплекса к концу 30-х годов XX века составила около 90 гектаров. Суммарно же владения Радзивиллов на белорусских землях достигли около 320 тысяч (!) гектаров.
В 1939 году, когда в Несвиж вошла Красная Армия и установилась советская власть, Радзивиллам пришлось бежать, они покинули замок, оставив там почти всё имущество. В 1941 году в замке находился штаб немецкой 2-й танковой группы генерала Гейнца Гудериана, а в послевоенное время там располагался санаторий КГБ.
>Интерьер одного из залов Несвижского замка при Радзивиллах
В 1993 году в Несвиже был создан Национальный историко-культурный музей-заповедник, куда вошел и замок. Затем комплекс перешёл под опеку Министерства культуры Республики Беларусь, после чего начались реставрационные работы.
Как обычно заведено у нас, реставрация производилась со множеством нарушений не только технологического, но и эстетического плана. Чего стоил один только луковицеподобный купол, выросший над замковой башней благодаря чьей-то неуёмной фантазии! Проектировщики утверждали, что схожая конструкция существовала здесь в XVI веке, но последняя из оставшихся в живых прежних обитателей дворца, пожилая княгиня Эльжбета Радзивилл, посетившая Несвиж пару лет назад, отреагировала весьма категорично: «Божа, што гэта за цыёцкая цыбулiна?» Пани Эльжбета требовала, чтобы башню восстановили в таком виде, какой она имела до 1939 года, и вспомнила множество деталей относительно того, как выглядел интерьер замка в прошлом.