Остальные Столыпины в 1920 году сбежали. Из дома их вывели местные ребятишки, с которыми подружился Аркадий. Чтобы избежать казни, Ольга Борисовна и дети несколько часов пролежали в канаве. Потом местные жители еще пять месяцев, до очередной смены власти, укрывали беженцев. Им удалось уехать после того, как Немиров заняли поляки (до 1939 г. город входил в состав Польши). На поезде Красного Креста Столыпиных отправили в Варшаву. Княжны Ольга и Мария Владимировны Щербатовы в это время также были за границей. К 1922 году Елена Петровна вместе с ними добралась до palazzo Strogonoff в Риме. На следующий год она вышла замуж во второй раз за князя В.Г. Волконского (1895–1973) и дожила до девяноста трех лет (скончалась в 1985 г.), будто использовав непрожитые годы первого мужа и своей сестры.
Судьба дворца Немирова: 7 февраля 1920 года в него прибыл директор Винницкого музея Г.В. Бриллинг, который на следующий день присутствовал на заседании комиссии, выяснявшей количество княжеского имущества. Она состояла из «представителей местной трудовой интеллигенции и ревкомов — местечкового и волостного». Бриллинг потребовал передачи вещей в Винницу, но встретил отказ. По крайней мере, музейщик увидел богатства Строгоновых-Щербатовых и описал свои впечатления: «С большим трудом удалось нам добиться права на осмотр здания, причем не могу себе и представить, как сделать подробную опись, т. к. в подвалах имеются еще не вскрытые ящики, а остальное имущество в таком хаотическом состоянии, что на его разборку потребовался бы 2–3-х недельный труд вышеуказанной комиссии. Общая картина такова: в двух этажах большое количество ценной и редкой мебели красного дерева и карельской березы, большей частью стиля „ампир“.
Много мебели поломано (комоды, столы, конторки). Среди мебели на полу свалены целые горы книг, картин, документов, писем, альбомов. Библиотека громадная: много тысяч томов научных книг на всех главных европейских языках, чудесные художественные русские издания по истории искусства, целый архив арендных документов и книг, много редких актов (дарственная грамота Петра Великого); есть много ценных фамильных документов Потоцкого, гр. Строгонова, Щербатовых, Салтыковых и др.
Что касается живописи, то среди лежащих на полу и расставленных у стен картин и портретов, очень интересных произведений мало, но я видел несколько ценных миниатюр и небольших портретов; есть несколько икон на дереве старого византийского письма — весьма редких и ценных. Тут же в комнатах стоят заколоченные ящики с картинами.