Пробыв в этой обители 17 месяцев и многому научившись в ней, а еще более наставив других своим смиренномудрием, преподобный Иосиф удалился с благословения настоятеля монастыря. Затем посетил он много обителей, но нигде так не нравилось ему, как в Кирилловом монастыре. Посему он решился удалиться в пустынное место и основать там с Божией помощью общежительный монастырь по образу Кириллова. Явившись опять в Пафнутиев монастырь, к великой радости братии, он, однако недолго оставался там, но, избрав нескольких единомышленных ему братий, поселился в некоей лесной пустыни близ города Волоколамска, в месте безлюдном и обитаемом лишь дикими зверями. Сие было в 1479 году.
В то время владетелем области Волоколамской был князь Борис Васильевич. Узнав, что в лес его вотчины пришел игумен Иосиф, князь весьма обрадовался, ибо уже давно желал иметь преподобного у себя. Тотчас он отправился к Иосифу и сказал ему: «Во всем тебе необходимом я твой помощник; молю только твою святыню, избери место в моей вотчине, какое захочешь».
Князь дал преподобному ловчего своего, который должен, был поискать удобного для обители места. Когда ловчий пошел по приказу преподобного в лес, внезапно поднялся вихрь, ломая деревья. Ловчий в страхе скрылся. Когда же буря перестала, он пошел путем, по которому пронесся вихрь. И лишь только ловчий пришел на место, где ныне стоит обитель, внезапно заблистала молния, сильнее солнечного света, хотя в то время воздух был чист и небо безоблачно; человек тот пришел от страха в исступление ума. О происшедшем он никому не поведал и только дивился в себе. Но вот игумен Иосиф пришел на то место, и сильно оно ему полюбилось. Тогда ловчий рассказал многим, как здесь молния сияла сильнее солнечного света.
Иосиф и князь послали к епископу, прося благословения строить церковь. Когда святитель прислал благословение свое и антиминс, преподобный Иосиф заложил церковь во имя Успения Пресвятой Богородицы на память преподобного Илариона Далматского и Виссариона. Узнав о сем, приехал к месту закладки храма князь Борис Васильевич со всеми боярами и многими знатными юношами. Прежде всех он и преподобный взяли на свои плечи бревна и положили в основание храма. Видя, как князь трудится для Бога, присутствовавшие там возрадовались, и все от мала до велика, как простые работники, стали трудиться во славу Божию и сносили бревна. Спустя немного времени церковь была совершенно построена и освящена в том же году, августа 15-го дня, на праздник честного Успения Пречистой Богородицы. Затем начали строить келлии и стали собираться братия. Приходили к преподобному Иосифу князья и бояре на покаяние, и многие из них постригались, не достигшие же зрелого возраста отдавали себя без рассуждения на послушание и повиновение, на труды и воздержание.