Между тем через два дня, почти в том же месте вода прибила к берегу еще два черепа. На этот раз полиция проявила максимум усердия и провела тщательную экспертизу. Экспертиза показала, что два последних черепа принадлежали мужчинам в возрасте не старше 20 лет и что ткани с черепов были счищены довольно острым орудием. Другими словами, налицо были явные признаки убийства, произведенного с особой жестокостью. Полиция заподозрила гомосексуалистов, и поэтому убийцу стали искать в их среде.
45-летний Фритц Хаарманн попал в число подозреваемых почти сразу, как только полиция завела уголовные дела. Это было вызвано тем, что он давно был не в ладах с законом и был известен как активный гомосексуалист с садистскими наклонностями. В 19-летнем возрасте он проходил по делу о попытке изнасилования двух пятилетних девочек и развратных действий в отношении двух несовершеннолетних мальчиков. Его арестовали, но медицинская экспертиза признала его психически невменяемым, и он был отправлен в психиатрическую клинику, где пробыл недолго и вскоре сбежал.
Через три года он возвратился в Ганновер и некоторое время вел себя как примерный гражданин. Он даже поступил на военную службу, но военная карьера его не состоялась: через полгода его комиссовали с диагнозом "слабоумие".
В личной жизни его преследовали неудачи. К женщинам он был полностью равнодушен, привлекали его мужчины, и это окончательно рассорило его с отцом. Дело дошло до того, что отец явился в полицию и потребовал немедленного ареста сына за аморальный образ жизни. Ареста Хаарманн-младший избежал, но под одной крышей с отцом не остался: уехал в район Острова и поселился в маленькой однокомнатной квартирке. Видимо, это переселение окончательно развязало ему руки, и он, пользуясь свободой, встал на путь преступлений.
С 1905 по 1913 год Хаарманн не менее 9 раз попадал в руки местной полиции за совершение различных краж. Однако сроки, на которые он попадал в тюрьму, были минимальными. За это время он провел в тюрьме 5 лет и два месяца, но лучше от этого так и не стал. В октябре 1918 года Хаарманн попал под подозрение в убийстве двух молодых людей, однако обыск на его квартире не дал результатов. Между тем, как выяснилось позднее, Хаарманн действительно убил этих двух юношей, расчленив их тела. Голова одного из них во время полицейского обыска находилась за печью, но сыщики не удосужились туда заглянуть. А может быть, тот обыск был и вовсе фикцией. Говорить так заставляет тот факт, что Хаарманн к тому времени уже несколько лет работал негласным осведомителем местного уголовного розыска и трогать его было не целесообразно. Более того, Хаарманн даже раздобыл себе удостоверение директора сыскного бюро, и это часто выручало его в сложных ситуациях.