В 1922 году две женщны, часто бывавшие в доме Хаарманна, увидели однажды неподвижно лежащего на его кровати молодого человека. Неподвижность и поза этого человека насторожили. Хаарманн объяснил, что "юноша просто спит" и поспешил выпроводить женщин из дома.
На следующий день женщины, зайдя к Хаарманну, обнаружили на стуле рядом с кроватью пиджак и брюки юноши, хотя Хаарманн утверждал, что гость уехал. Кроме этого, на кухне они увидели горшок с вареным мясом, подозрительного вида. В тот же день женщины рассказали в полицейском управлении о своих подозрениях.
Стоит отметить, что полиция отреагировала весьма оперативно и прибыла на квартиру Хаарманна с обыском. На вопрос о молодом человеке Хаарманн спокойно ответил, что тот попросился на ночлег и днем ушел, оставив в качестве платы за постой свой костюм. Хаарманн же отдал ему свои старые брюки и рубашку. Мясо в горшке он назвал обыкновенной свининой, и эксперт, исследовавший его, подтвердил это. Полиция и в тот раз ушла ни с чем.
После обнаружения черепов Хаарманн вновь попал в поле зрения полиции, но с его арестом спешить не стали. За ним установили негласное наблюдение, для чего вызвали из другого города двух агентов. Но и это скрытое наблюдение не помогло: Хаарманн вел себя на редкость благопристойно. Казалось, что ему удастся благополучно выйти из сложной ситуации. Но тут произошло неожиданное.
Видимо, уверенность Хаарманна в собственной неуловимости настолько укоренилась в нем, что однажды он просто утратил всякую бдительность и осторожность. В один из июньских дней 1924 года он познакомился с неким юношей по фамилии Фромме, который сбежал из Берлина от своих родителей и теперь скитался по Германии. Хаарманн предложил ему пожить некоторое время у него, бездомный юноша с радостью согласился. Однако он не знал, какие услуги ему придется оказывать хозяину дома за этот приют. Тот же в первую их совместную ночь изнасиловал мальчишку.
Эта связь длилась несколько дней, после чего юноша Хаарманну надоел и он прогнал его прочь. Фромме в ответ потребовал денег за те специфические услуги, которые он оказывал. Это требование настолько взбесило Хаарманна, что он схватил наглого мальчишку за шиворот и собственноручно привел… в полицию. Это его и погубило.
В полицейском управлении Фромме чистосердечно рассказал о том, что с ним произошло. Полиция арестовала Хаарманна, и в тот же день произвела тщательный обыск. В результате в шкафах Хаарманна была обнаружена куча всевозможной верхней мужской одежды и белья, причем разных размеров. Хаарманн объяснил, что все это он выменял у разных незнакомых ему людей для последующей перепродажи. Его соседи подтвердили, что он действительно иногда занимался подобного рода делами. И все-таки полиция решила проверить все до конца и поместила в газетах объявления о том, что родственники пропавших без вести людей могут прийти и осмотреть вещи, найденные у Хаарманна. И толпы людей потянулись к зданию полиции.