С 1910 г. началась служба Каледина на командирских должностях, давшая ему необходимый опыт перед последующими испытаниями первой мировой войны. Полтора года он командовал 2-й бригадой 11-й кавалерийской дивизии, ас 1912 г. возглавлял 12-ю кавалерийскую дивизию. Под его руководством она превратилась в отлично подготовленное боевое соединение, одно из лучших в русской кавалерии, что подтвердила война.
В первой мировой войне кавалерия уже не была "царицей полей", но в составе 8-й армии Юго-Западного фронта конники Каледина всегда были активной боевой силой. В победных реляциях фронта в период Галицийской битвы 1914 г. все чаще и чаще упоминалось имя начальника 12-й кавалерийской дивизии. Командующий 8-й армией генерал А.Брусилов, со временем убедившийся в боевых возможностях дивизии, стал направлять ее на самые горячие участки сражений. Всегда хладнокровный, спокойный и суровый Каледин твердо держал управление дивизией в своих руках, его приказы выполнялись подчиненными быстро и энергично. В отличие от многих других военачальников он не посылал, а водил полки в бой. В период неудач Юго-Западного фронта весной и летом 1915 г. конница Каледина, как и "Железная дивизия" Деникина, часто перебрасывалась с одного жаркого участка на другой, заслужив название "пожарной команды" 8-й армии.
С осени 1915 г. Алексей Максимович принял под свое командование 12-й армейский корпус 8-й армии. Его принципом было планировать боевые действия всех подчиненных ему частей до мелочей, но если он убеждался в способности какого-либо командира действовать инициативно и со знанием дела, жесткая опека с его стороны сразу же ослабевала. Молчаливый и угрюмый командир корпуса не любил и не умел говорить красивых, возбуждающих слов, но его регулярное появление на передовой линии, спокойные беседы с офицерами и солдатами, порой под жестоким огнем, вызывали полное доверие и уважение к нему войск.
После того как весной 1916 г. Брусилов возглавил Юго-Западный фронт, Каледин сменил его на посту командующего 8-й армией. Знаменитое наступление войск фронта - "Брусиловский прорыв" - по роли в нем 8-й армии стал, в первую очередь, "Калединским прорывом". Армия действовала на главном, Луцком направлении. Начав наступление 22 мая, она уже к исходу следующего дня прорвала первую полосу обороны австрийской 4-й армии. Еще через два дня был взят Луцк. Австрийцы бежали к Ковелю и Владимир-Волынскому, бросая все на своем пути; в плен было захвачено более 44 тысяч человек. Немецкое командование вынуждено было принимать срочные меры, чтобы помочь своим союзникам и закрыть "ковельскую дыру". Отражая контратаки подходивших дивизий противника, 8-я армия упорно продвигалась вперед, оттеснив к концу июля австро-германские войска в своей полосе на 70- 110 километров. В конце июля наступление войск фронта, не поддержанное соседними фронтами, прекратилось, но его военные и политические итоги были весьма значительными. "Луцкий прорыв" стал памятной страницей хрестоматий по военному искусству.