В это же время среди казаков начинаются разногласия. Награбив за весь поход довольно много всякого имущества, многие из них самовольно уходили домой. В основном это была молодежь, не имевшая понятия о дисциплине. Сперва мы призывали казаков оставаться в частях, но наши призывы не всегда имели воздействие. Казаки понесли большие потери, иные погибли в боях, другие лежали по лазаретам, еще другие были эвакуированы по разным причинам домой, так что держать в руках молодежь было некому. А между тем на казаков наваливалось все больше обязанностей, которые они не исполняли. Все это не могло не сказаться на настроении и боевом духе частей.
Отойдя от Глухова, мы не смогли перейти в наступление, так как спешно получили приказание идти на Рыльск и стараться сдержать прорыв большевиков. За два дня похода в страшные морозы и метели мы добрались до Рыльска, пришли приблизительно часа в 4 дня и не успели даже отдохнуть, как вечером большевики повели наступление на город и окружили его с двух сторон. Пришлось отойти в деревню на половине дороги между Рыльском и Кореневым. В эту ночь мороз усилился, люди так устали, что были не в состоянии слезть с лошадей, чтобы идти пешком, а между тем это было единственным спасением от отмораживания ног и рук. На следующее утро нам пришлось эвакуировать 50 человек – треть состава в тыл по железной дороге.
Курск был оставлен, и большевики продвигались по железной дороге на село Коренево; эти обстоятельства заставили и нас отойти к тому же селу. Здесь узнали, что Ворожба занята красными и что части первой нашей кавалерийской дивизии отходят по железной дороге на Сумы. В это же время большевики прорвали фронт казаков и приближались к Купянску, чем, создавая угрозу Харькову, заставили части первого корпуса пойти на Харьков. Здесь у красных действовала впервые появившаяся кавалерия Буденного. От Коренева до Сум мы шли приблизительно около пяти дней, во время пути происходили лишь небольшие стычки. В Сумах было много сахарных заводов, но все заводы бездействовали уже больше года. В их кладовых были крупные запасы сахара. В начале революции их грабили, потом сахар вывозили большевики, потом немцы, затем снова большевики, добровольцы пользовались им, и все-таки сахару оставалось еще очень много. Например, на заводе князя Щербатова после нашего ухода оставалось 5 миллионов пудов сахару.
В Сумах мы не задерживались, так как к этому времени дезертирство казаков продолжалось, их уже нельзя было удержать в частях по всему фронту. Восточнее Харькова и до Царицына едва ли можно было найти более 15 боеспособных частей, при таких условиях нам держать Харьков было невозможно, и вся наша задача состояла только в том, чтобы дать время на его эвакуацию. Мы всего этого не знали и все надеялись удержать Харьков в наших руках. Отступая в Сумы, мы уничтожили все запасы спирта и испортили машины. Отступление продолжалось, случаи заболевания тифом участились, но этих несчастных некуда было девать, так как все госпитали, санитарные поезда эвакуированы. Все станции были завалены больными, не получавших почти никакого ухода, без пищи, и лекарств, так что были случаи смерти от голода и замерзания. Медицинского персонала почти не было, находившиеся там врачи тоже болели тифом. Последний большой бой, в котором мы участвовали, происходил около деревни Богодухов Харьковской губернии. За этот бой был представлен в офицеры мой брат. Надо сказать, что после оставления нами Сум вся оставшаяся регулярная кавалерия была сведена под командой произведенного в генералы Барбовича в одну дивизию. Из тыла присоединились в это время две новых батареи – 6-я Конная и 2-я Дроздовская конная. Тогда Барбович отпустил нашу батарею в тыл, чтобы мы немного отдохнули, так как мы воевали на передовых около года. 24 ноября 1919 года из Богодухова вся наша батарея двинулась через Люботин в Мерефу.