Он принял лютеранство, чтобы жениться на девице Королине де Ломбор, в которую, судя по всему, страстно влюбился. Впоследствии от этого брака на свет появились четверо сыновей и пять дочерей. Фактом своего крещения Перетц порвал с соплеменниками, которые не простили ему такого предательства. Для них Перетц был заступником, мудрецом, гордостью. Крещение лишило Перетца поддержки бывших учителей и соратников. Единственный, кто не отвернулся от финансиста после его крещения, – бывший тесть Иошуа Цейтлин. Он упомянул зятя в своем завещании и дал ему право выкупить свое поместье «Устье», которое стало к тому времени центром еврейского просвещения.
Однако наследства бывшего тестя явно недостаточно. Известно, что в последние годы жизни Перетц нищенствовал. В письме своему родственнику по первой жене Соломону Цейтлину в 1822 г. Перетц жаловался: «Мои дела в ужасном состоянии, и я ни на кого не могу положиться, кроме нашего небесного Отца, который дает пропитание каждому и всем нам. Надеюсь, что Он не оставит меня на посмеяние моим врагам». Однако больше никаких упоминаний о некогда одном из самых знаменитых евреев Петербурга нет. Скорее всего, Перетц умер в Петербурге в начале 30-х гг. XIX в.