Вскоре после их визита в курзале состоялся какой-то концерт или спектакль, на котором я присутствовала. Увидев меня, Марцинкевич сразу же подошел и на глазах у всех поцеловал мне руку».
Но, несмотря на лояльное отношение со стороны большевиков, Кшесинская все же опасалась обысков и, припрятывая свои драгоценности, проявила недюжинную изобретательность. Солдаты уже хорошо знали, где «буржуи» прячут свои деньги и драгоценности. Так, деньги часто приклеивали под выдвижные ящики, и солдаты при обысках стали проверять все ящики. Драгоценности многие держали в банках из-под гуталина, но солдаты и это быстро раскусили. Матильда же хранила деньги в верхней части окна, и чтобы их найти, нужно было вынимать раму. А драгоценности она спрятала в ножке железной кровати, «спустив их туда на ниточке, чтобы при необходимости быстро вынуть».
14 июня жители Кисловодска услышали отдаленные выстрелы. Поползли слухи, что казаки атаковали Кисловодск и разбили большевиков. И действительно казаки проехали по улицам, но после этого все успокоилось, и власть осталась в руках большевиков, а красноармейцы стали арестовывать всех подозреваемых в симпатиях к казакам. Очевидец этого, Кшесинская писала: «Уже потом мы узнали, что это была вылазка партизанского отряда Андрея Шкуро, единственной целью которого являлось ограбление финансового ведомства большевиков и добыча оружия для своих людей. В конце концов, Шкуро это удалось, но после его ухода на город обрушились страшные репрессии».
Через два дня большевики устроили обыск в доме, где жила великая княгиня Мария Павловна со своими сыновьями Борисом и Андреем. Они изъяли все оружие, найденное в доме, – сабли и кинжалы, а затем арестовали великого князя Бориса и адъютанта великого князя Андрея полковника фон Кубе. Андрея же командир приказал не забирать, потому что он, как пишет Кшесинская, «умный и добрый. Андрей и правда был добрым и очень воспитанным человеком, но и его брат был таким же добрым и никому не причинил зла. Убитая горем великая княгиня сидела вместе с Андреем на балконе и смотрела на тропинку, по которой вели арестованных, с ужасом думая, что уже никогда не увидит своего сына Бориса. После налета казаков следовало ждать возмездия. Четыре часа они просидели на балконе в тоске и тревоге. Борис и фон Кубе вернулись только в час ночи и рассказали, что их спасло вмешательство какого-то молодого студента, выступавшего в роли не то судьи, не то следователя, не то прокурора. Сначала они долго ждали, пока кто-нибудь обратит на них внимание, а когда их, наконец, провели в комнату, где сидел студент, он поинтересовался, за что же их задержали. Великий князь Борис и фон Кубе ответили, что не имеют об этом ни малейшего понятия. Студент тотчас вызвал командира отряда, производившего обыск, но тот тоже не мог дать никаких объяснений. Студент освободил их и выдал пропуск, так как ночью запрещалось ходить по городу».