Это тайное общество было основано в период Третьего крестового похода (1189–1192 гг.) и получило название на латыни Ordo domus Sanctae Mariae Teutonicorum («орден дома Святой Марии Тевтонской»), а в немецком языке — Deutscher Order («Немецкий орден»). Орден полностью зависел от папы римского, рыцари были его орудием и не подчинялись властителям, на территории которых находились владения ордена.
Представители организации считались одновременно монахами и рыцарями и точно так же, как тамплиеры, давали три традиционных монашеских обета: целомудрия, бедности и послушания. Цель монашеского подвига подчеркивали христианские богословы: достижение духовной чистоты, беспорочности и полного предания себя воле Божьей через аскетический подвиг, совершаемый каждый день в течение всей жизни. Однако уже при создании ордена мало кто всерьез считал, что монах должен лишать себя радостей земной жизни и побеждать искушения плоти и дьявола, дабы достичь благодати Духа Святого. Так что члены тайного общества уже в 1221 году получили от папы Гонория III все те привилегии, иммунитет и индульгенции, которыми обладали иоанниты и тамплиеры.
В 1201 году епископом Альбертом Буксгевденом была основана Рига и с благословения папы римского Иннокентия III учрежден духовно-рыцарский орден меченосцев, или Ливонский орден. С тех пор в Прибалтику стали стекаться рыцари со всей Европы. Местное население (племена куров, пруссов, ливов, эстов) рыцари обращали в христианство насилием и кровопролитием.