Аллен решительно оставил службу Богу, когда погрузился в деловую карьеру Четвертого округа, но никогда не забывал окончательно своих ранних привычек. Довольно забавно, но, будучи пьяницей, вором, сутенером и, возможно, убийцей, он оставался очень религиозным человеком и настаивал на том, чтобы его явно несвятые деяния окружала святая атмосфера. Его дом открывался для бизнеса каждый день в час, но три раза в неделю он собирал своих проституток, барменов и музыкантов в баре в полдень и там читал и толковал отрывки из Библии. В каждой спальне, куда женщины приходили со своими клиентами, была религиозная литература, а на больших вечеринках Новый Завет раздавался в качестве сувенира. Аллен подписывался почти на все религиозные издания, которые издавались в Соединенных Штатах, получал несколько экземпляров «Нью-Йоркского обозревателя» и «Индепендент», своих любимых газет. Он раскладывал их по танцевальному залу и бару, и на каждом столе и скамье лежал маленький сборник гимнов, названный «Друг маленького странника», известная в те времена книга. Аллен был всегда готов организовать со своими проститутками и клиентами религиозное песнопение, и для того дома не было неожиданностью, если он вдруг оглашался звуками гимнов. Проститутки предпочитали «Есть покой для изможденного».
Соблазны прибрежного кабака
Есть покой для изможденного;
Есть покой для тебя,
На другом берегу Иордана,
В милых полях Эдема,
Где цветет Дерево Жизни,
Есть покой для тебя...
Статьи в газетах и журналах, подробно рассказывающие о том, как Аллен управлял своим бизнесом, привлекли много внимания, и протестантские священники города решили использовать ситуацию. Преподобный А.С. Арнольд из миссии Говарда был особенно неутомимым и часто приходил в дом, стараясь уговорить Аллена разрешить настоящему священнику проводить эти встречи. Наконец 25 мая 1868 года преподобный Арнольд привел отряд из шести священников и стольких же благочестивых мирян в полные опасностей окрестности Уотер-стрит. Аллен был настолько пьян, что не смог им противостоять, и они провели совместную молитву с полуночи до четырех часов утра. Отчеты об этой встрече были опубликованы, и еще несколько месяцев в подвальчик на Уотер-стрит наведывались священники и любопытные, из-за чего постоянные посетители Аллена перестали появляться, и прибыли его сократились. Служители Господа продолжали проводить свои собрания всякий раз, когда Аллен достаточно напивался, чтобы дать свое согласие. И наконец они уговорили его бросить свое нечестивое занятие. В полдень 29 августа 1868 года двери танцевального зала были закрыты впервые за 17 лет, и на следующее утро на дверях было повешено объявление: