К нему начали приезжать, присылать портреты жён, невест, любовников (фотографию тогда ещё не изобрели), приводить детей. Иногда происходили курьёзы. Однажды он принял приговорённого к смерти преступника за известного государственного деятеля, но всё-таки в большинстве случаев он оказывался прав. О нём рассказывали чудеса.
Как-то в Цюрих приехал молодой красавец аббат. Лафатеру не понравилось его лицо. Прошло немного времени, и аббат совершил убийство.
Некий граф привёз к Лафатеру свою молодую жену. Ему хотелось услышать от знаменитого физиогномиста, что он не ошибся в выборе. Она была красавицей, и граф надеялся, что душа её так же прекрасна. Лафатер усомнился в этом и, чтобы не огорчать мужа, попытался избежать прямого ответа. Граф настаивал. Пришлось сказать, что в действительности Лафатер думал о его жене. Граф обиделся и не поверил. Через два года жена бросила его и окончила свои дни в публичном доме.
Одна дама привезла из Парижа дочь. Взглянув на ребёнка, Лафатер отказался говорить. Дама умоляла. Тогда он написал что-то на листе бумаги, вложил в конверт, запечатал и взял с дамы слово распечатать его не ранее чем через полгода. За это время девочка умерла. Мать вскрыла конверт и прочитала: «Скорблю вместе с вами».
Лафатер составил и свой собственный психологический портрет: «Он чувствителен и раним до крайности, но природная гибкость делает его человеком всегда довольным… Посмотрите на эти глаза: его душа подвижно-контрастна, вы получите от него всё или ничего. То, что он должен воспринять, он воспримет сразу или никогда… Тонкая линия носа, особенно смелый угол, образуемый с верхней губой, свидетельствует о поэтическом складе души; крупные закрытые ноздри говорят об умеренности желаний. Его эксцентричное воображение содержит две силы: здравый рассудок и честное сердце. Ясная форма открытого лба выказывает доброту. Главный его недостаток — доверчивость, он доброжелателен до неосторожности. Если его обманут двадцать человек подряд, он не перестанет доверять двадцать первому, но тот, кто однажды возбудит его подозрение, от него ничего уже не добьётся…»
Он был убеждён, что характеристика беспристрастна.
Поклонники боготворили Лафатера, считали его провидцем. Великие писатели и поэты изучали физиогномику для того, чтобы описания героев их произведений точнее соответствовали их внутреннему миру. Со ссылкой на Лафатера Михаил Юрьевич Лермонтов характеризует внешность Печорина в «Княгине Лиговской». Соответствия портретных характеристик с физиогномикой есть во многих произведениях Лермонтова. В феврале 1841 года Лермонтов в письме к А. И. Бибикову сообщил, что покупает книгу Лафатера.