Меньшее, что теперь можно сказать, — то, что об истоках изначальной организации госпиталя Св. Марии Немецкой в Иерусалиме известно очень немногое. Зато достоверно, что в середине XII в. в Иерусалиме существовал госпиталь и дом для помощи и лечения германских паломников; при нем состоял немецкий приор, а само учреждение было вверено власти госпитальеров ордена Св. Иоанна.
Орден госпитальеров берет начало от госпиталя Св. Иоанна, основанного в Иерусалиме в 1070 г. торговцами из Амальфи, дававшего приют и заботившегося о бедных пилигримах. Его основатель, Мауро ди Панталеоие, организовавший такой же госпиталь в Антиохии, умер в 1071 г.; дальше его финансово поддержала амальфийская община. Этот госпиталь-приют находился в квартале Муристан между базарной улицей и церковью Гроба Господня. Во время Первого крестового похода наставник общины Св. Иоанна, некий Жерар, передал информацию осаждающим и тем самым облегчил крестоносцам взятие Святого города. В начале XII столетия госпиталь был преобразован в монашеский орден, который стал называться орденом Госпиталя Св. Иоанна, После смерти блаженного Жерара 3 сентября 1120 г. орден госпитальеров стал одним из самых влиятельных на Святой земле и официально признанным папой. При его преемнике магистре ордена Раймонде де Пюи орден постепенно, с 1137 г., помимо благотворительной деятельности начинает заниматься и военной. Орден принимает активное участие в военных действиях, правда, на первых порах оборонительного характера. К трем традиционным обетам: бедности, целомудрию и смирению, которые приносили обычные монахи, госпитальеры прибавляют еще один — защищать Святую землю с оружием в руках от неверных. Они должны были обеспечивать защиту паломников, посещающих различные святыни. Однако госпитальеры никогда не отказывались от своего первого предназначения; они были распределены по командорствам и приорствам, которые, в свою очередь, делились на «нации», или «языки». «Язык Прованса» занимал почетное место, поскольку то был язык учредителя ордена госпитальеров, Жерара. Госпитальеры основали приорат в Европе, в Сент-Жиль-дю-Гар, откуда отправлялись в Святую землю паломники южной Франции. Вероятнее всего, вследствие деления на «языки», госпиталь Святой Марии Немецкой был присоединен к ордену госпитальеров Св. Иоанна и отдан под их под опеку.
Постепенная милитаризация госпитальеров Св. Иоанна не была чем-то исключительным в XII столетии в Иерусалимском королевстве. Очевидно, это превращение монашеского ордена, занимавшегося благотворительной деятельностью, в военный орден произошло по примеру ордена тамплиеров. Орден тамплиеров, истоки которого так же малоизвестны и окружены тайной, как и тевтонского, возник как военный орден в 1118-1119 гг. под названием «Орден бедных рыцарей Христовых». Согласно историку Жаку де Витри, «они дали патриарху Иерусалимскому торжественную клятву, что будут защищать паломников от разбойников и грабителей, охранять дороги и служить государю как рыцари… Во главе ордена встали Гуго де Пейен и Годфруа Сент-Омер. <…> Король Балдуин поселил их в своем дворце, построенном на развалинах Храма Соломонова. <…> Позже их стали звать тамплиерами». Во время церковного собора в Труа в 1128 г. в присутствии папского легата, а возможно, и самого святого Бернара Клервоского, тесно связанного с Гуго де Пейеном, тамплиеры получили от папы Гонория II (1124-1130) устав ордена, составленный в подражание бенедиктинского устава; в нем оговаривались и военные обязанности тамплиеров.