Вольховский был переведен на Кавказ и назначен состоять при генерале Паскевиче. В персидскую войну он участвовал в целом ряде боев, выдвинулся храбростью и распорядительностью, получил Анну 2-й степени с алмазами, был произведен в полковники. Принимал участие в ведении мирных переговоров с Персией и взыскании с нее контрибуции. Министр иностранных дел Нессельроде в официальном отношении обращал внимание Дибича на особенные заслуги Вольховского, «который своим благоразумием и твердостью должен почесться главным виновником блистательного и выгодного для нас мира». В последовавшей турецкой войне Вольховский опять все время находился в боях. При взятии штурмом Карса он с двадцатью гренадерами под картечным огнем овладел одним из угловых бастионов крепости и немедленно обратил неприятельские орудия во фланг трех прилегающих башен. За это дело Вольховский получил Георгиевский крест.
Он занимал в армии пост обер-квартирмейстера. В чем заключались его обязанности и как он их исполнял, мы можем видеть из записок генерала Н. Н. Муравьева. «Во время следования колонн, – рассказывает Муравьев, – заботливостью Вольховского присылались к нам описания дорог, по коим нам идти. Точность сих описаний была разительна, и мы всегда знали наперед о всякой канаве, которая могла остановить движение колонны, и брали заблаговременно меры для поправления дороги; знали, где есть корм подножный, вода, где обозы могли строиться в несколько линий или идти поодиночке; где могла быть в теснине продолжительная остановка, во время коей батальоны могли бы не дожидаться в ружье, а расположиться на привал. Словом, все было придумано и приспособлено к порядливому движению войск». Дело в руках Вольховского кипело. Он обладал железным трудолюбием, добросовестен был до крайности. Дружеское замечание Вольховского действовало на подчиненных сильнее, чем самые грозные распекания других начальников. К себе Вольховский относился с неумолимой строгостью. Заваленный делами, он положил себе тратить на сон не более шести часов в сутки. Каждый раз, когда ему приходилось от усталости задремать, он эти минуты дремоты вычитал из ночного сна. Был очень скромен, в реляциях совершенно умалчивал о собственных своих заслугах.
Пушкин, приехав в действующую армию, представился Паскевичу. «Здесь, – рассказывает он, – увидел я нашего Вольховского, запыленного с ног до головы, обросшего бородой, изнуренного заботами. Он нашел, однако, время побеседовать со мною, как старый товарищ».
Арзрум был взят. Кампания приходила к концу. Вольховский был уже не нужен Паскевичу. А Паскевич его давно ненавидел. До него дошли слухи, что некоторые из успехов военных действий приписываются Вольховскому. Кроме того, Вольховский был постоянным свидетелем отнюдь не наполеоновского поведения Паскевича в решительные моменты боя. Барон А. Е. Розен по этому поводу замечает в своих «Записках»: «Всегда беда подчиненному, который бывает свидетелем промахов тщеславного начальника». Ненависть Паскевича к Вольховскому, равно как и к Остен-Сакену, была так велика, что еще через двадцать лет, когда Вольховский уже умер, Паскевич говорил с яростным сожалением: