Реальная жизнь самого Наньюэ Хуайжана известна достаточно плохо. Можно лишь отметить, что он большую часть жизни провел как отшельник, обитая в горах, и скорее всего был учеником не Хуэйнэна, а какого-то другого последователя Пятого патриарха Хунжэня, и таким образом имел весьма косвенное отношение к самому Хуэйнэну [106, 36]. Однако такая история, будучи канонизированной, целиком бы разрушила ореол «истинности» Мацзу и многих последующих поколений его школы, а поэтому тщательно вымарывалась из всех исторических хроник.
Если мы внимательно проследим, в каких случаях упоминается сам Наньюэ Хуайжан, то без труда заметим, что все это – так или иначе истории, связанные с Мацзу и особенно с предсказанием Хуэйнэна относительно Мацзу, что тот станет одним из величайших патриархов Китая. Таким образом Наньюэ Хуайжану в истории Чань отведено небольшое, но крайне важное место – передать предсказание Хуэйнэна и тем самым утвердить «передачу светильника» именно Мацзу.
После десятилетнего обучения у Хуайжана Мацзу, как гласит его биография, покидает горы Наньюэ и поселяется в уезде Цзяньян, что в провинции Фуцзянь, на горе с символическим названием «След Будды» – Фоцзилин. Некоторые его биографии считают, что именно здесь одно время располагалась резиденция Мацзу, как патриарха новой школы, хотя это ничем и не подтверждено. Скорее всего Мацзу очень быстро покидает и это место, и уже в 743–744 годах он переселяется в провинцию Цзянси в область Линьчуань. Но и здесь он не задерживается, вновь переселяется на гору Лунгун в той же провинции, на территории современного уезда Ганьсян.
Горы Лунгун пользовались недоброй славой, и мало кто хотел селиться в этом месте. «Пещеры здесь были во множестве населены злыми духами. Ни у одного живого существа не хватало смелости приблизиться к ним, а тот же, кто все же рискнул сделать это, моментально бывал захвачен ими. Но лишь только [Мацзу] поселился здесь, некий дух, одетый в красные одежды и черную шапку, пришел поприветствовать его и заявил: «Я отдаю тебе эту территорию, чтобы она отныне стала чистым местом». Сказав это, он исчез, и с этого момента все хищные и ядовитые животные, что обитали здесь, стали ручными и послушными» [34, цз. 50, 766]. Таким образом Мацзу выступает уже как победитель духов, причем сам ритуал экзорсизма он совершил, как бы ничего не делая, в абсолютном недеянии, явив собой воплощение древнего идеала даосского мага, но еще в более высокой форме. В определенной мере эта легенда перекликается с преданием о третьем патриархе Чань Сэнцане – когда он скрывался от преследования в горах Хуаньгун, оттуда ушли все дикие звери.