Но оказалось, что настоящие страхи еще впереди. Такое падение любимца Алексея Михайловича никак не устраивало мстительного И. М. Милославского. Ему надо было полное крушение своего недруга. В думе начались борьба за Матвеева и… обуздание его гонителя. Ю. А. Долгоруков поднимал вопрос о возвращении опального канцлера. Милославские, которые нашли поддержку у Б. М. Хитрово, выступали против. При этом они искали способ, с помощью которого можно было навсегда заставить замолчать защитников Артамона. Так появились доносы о чернокнижии Матвеева.
Чернокнижие, магия, колдовство относились к тем обвинениям, которые вызывали животный страх. Здесь все было непонятно и одновременно понятно — всякое недомогание, болезнь разом получали объяснение и надежду на исцеление, ведь против происков нечистого, с которым связано чернокнижие, существовала всемогущая божественная помощь. Для Матвеева обвинение в чернокнижии было тем более опасно, что еще совсем недавно он отвечал за здоровье государя и его семейства. Может, оттого постоянно и недомогает нынешний государь, что прежний глава Аптекарского приказа не желал ему добра?
Перед таким обвинением даже Долгоруким пришлось умолкнуть. В мае 1677 года последовал новый приговор: Матвеев отправлялся уже не на воеводство, а в ссылку в Пустозерск — место, где под всполохами северного сияния сходились и вели нескончаемые богословские споры знаменитые «пустозерские узники»: протопоп Аввакум и его товарищи.
Опала настигла и Нарышкиных. Братья царицы, Иван и Афанасий, были обвинены в намерении отравить Федора Алексеевича и приговорены к смертной казни, которую царь заменил ссылкой. Пострадали и другие родственники Натальи Кирилловны. Однако полного торжества у Милославских все же не получилось. Нашлись защитники, которые не допустили того, чтобы имя Матвеева было вычеркнуто из боярских списков. Оно повторялось ежегодно с соответствующей пометой на полях об опале.
И. М. Милославский получил под свое начало приказы, которыми руководили Матвеев и К. П. Нарышкин. Больше того, вскоре к нему перешли Иноземный (Иноземческий) и Рейтарский приказы. В итоге в руках Ивана Михайловича сосредоточилось десять приказов! Казалось, что родственник царя, а с ним и вся «партия Милославских» овладели основными рычагами центральной власти. Но не тут-то было! Передавая Ивану Михайловичу приказы, аристократические группировки не просто откупались от него, а одновременно готовили его падение. В полученных приказах сидели враждебные Милославским люди, которые тотчас же, по словам историка В. Н. Татищева, «хитростью к жалобам на него дорогу готовить начали, чрез что вскоре явились к государю жалобы». Интрига имела успех. Милославский с репутацией не справившегося приказного судьи был оттеснен новыми фаворитами. К 1680 году он потерял почти все свои приказы.