694-ый ОМСБ был сформирован в феврале 1996 года на базе 135-й мотострелковой бригады 58-й армии в городе Прохладный численностью около 500 человек, и состоял в основном из терцев. Были среди военнослужащих и несколько казаков с Дона, Урала, Сибири, Санкт-Петербурга, других регионов России, и даже из Болгарии. Почти все казаки батальона являлись солдатами-контрактниками, обмундированными и вооружёнными в соответствии с общеармейскими нормами. Отличительной особенностью являлись разрешённые командованием казачьи знаки различия — кокарды и шевроны, некоторые казаки даже в ходе непосредственных боевых действий носили папахи. В данном подразделении проходили службу и несколько волонтёров, например, в первом взводе второй роты таким бойцом был Владимир Прокопьев из Якутска.
Офицеры батальона, в большинстве своём, казаками не были, в том числе и уважаемый всеми ермоловцами командир батальона майор Владимир Стехов. Связующим звеном между офицерами и казаками являлся заместитель командира батальона по воспитательной работе подполковник Александр Волошин — походный атаман Терского казачьего войска.
Своё имя казачье подразделение получило в результате дискуссии, разгоревшейся на Совете атаманов ТКВ, ещё до начала своего формирования — в январе 1996 года. Было предложено назвать батальон Карауловским — в честь первого выборного терского войскового атамана, расстрелянного в декабре 1917 года революционными солдатами здесь же, на станции Прохладной, но большинством голосов атаманы утвердили второе предложение, высказанное одним из них — быть батальону Ермоловским. Имя знаменитого генерала — покорителя Кавказа, присвоенное создаваемому казачьему подразделению, явилось и проявлением исторической преемственности — ещё в 1904 году по Высочайшему повелению Алексей Петрович Ермолов был определён вечным шефом Терского казачьего войска.
В конце февраля на базе в/ч 01860 в Моздоке началось формирование казачьей усиленной роты (160 человек), приданной Ермоловскому батальону в 20-х числах марта под Ачхой-Мартаном.
При комплектовании батальона применялась упрощенная система — кандидату в военнослужащие для оформления личного дела в военном комиссариате по месту жительства не требовалось даже прохождения медицинской комиссии. Необходимо было только представить справку из милиции, подтверждающую, что данный человек не находится под следствием. Отменялись и возрастные ограничения. Так одному из старейших казаков батальона В.С.Метликину в день первого боя 8 марта 1996 года исполнилось 55 лет.