Впервые «Маузер» К-96 был применён германским экспедиционным корпусом при подавлении «боксёрского восстания в Китае в 1899-1901 гг. и высоко оценен в англо-бурскую войну. С «Маузером» К-96 в те же годы путешествовал по Африке У. Черчилль. По одной из легенд, во время Суданской компании, в сентябре 1898 г., он был окружён неприятелем, и только наличие полуавтоматического «Маузера» позволило будущему премьеру отбиться.
Однако сначала ни одна из армий официально не приняла его на вооружение. Кроме достоинств, как водится, выявились и недостатки. К плюсам относили высокую живучесть конструкции (выдерживала до 10 тысяч выстрелов), хорошую кучность и меткость, высокую скорострельность. Отрицательной оценки заслужили неудобство заряжания на ходу или на коне, значительные размеры и масса.
Вместе с тем, например, в России, офицерам разрешалось приобретать этот пистолет в дополнение к табельному револьверу. В дореволюционной России К-96 стоил примерно 40 золотых рублей. В 1913 году маузеры всё же были приняты на вооружение российских военных авиаторов, а в 1915-1916 годах ими вооружали специальные части (авиационные, автомобильные и пр.).
В 1908 году К-96 принимается на вооружение германских конных егерей. К тому времени было изготовлено и распродано уже около 70 тысяч пистолетов. Но лишь в 1916 году маузеры начинают в массовом порядке поступать и в другие рода войск, правда, не классические, а под 9-мм патрон «парабеллум». К концу I мировой в войска было поставлено около 138 тысяч таких пистолетов с красной девяткой на рукоятке. Это был уже не первый опыт фирмы по выпуску маузеров калибра 9 мм. Ещё в 1907, а затем в 1908 г. небольшими партиями изготовлялись пистолеты К-96 и К-06/08 под патрон 9 мм «маузер экспорт» с цилиндрической гильзой. Последний внешне значительно отличался от своих предшественников и в первую очередь сменным магазином и рукояткой улучшенной формы. Конструктивно, за исключением ударно-спускового механизма, К-06/08 в основном повторял К-96.
Несмотря на то, что К-96 не получил в армии такого распространения, как «парабеллум» или браунинги, его в больших количествах продавали во многие страны, и практически большинство военных конфликтов начала ХХ века проходило с применением маузеров. По всей видимости, немалую роль в распространении этого пистолета по всему миру сыграл и контрабандный рынок оружия. Маузерами вооружались басмачи в Средней Азии, боевики революционных организаций Закавказья, различные вооружённые формирования Латинской Америки и Китая. Во время Гражданской войны в России его активно применяли все противоборствующие стороны: белогвардейцы и красноармейцы, анархисты и эсеры, многочисленные бандформирования. Но следует принять во внимание, что К-96 всё же не был так растиражирован, как его современники, официально принятые на вооружение армий, поэтому, как правило, К-96 доставался комиссарам, атаманам, командирам и особам, приближённым к ним.