Но Милославский этим не довольствовался. Он был убеждён, что воеводой в Астрахань царь Алексей послал его когда-то по подсказке Матвеева. Это было равносильно ссылке. Иван Михайлович едва не помер там от болезни живота. Разве это можно простить Матвееву? Рьяного союзника в травле Матвеева Милославский нашёл в лице дворецкого Богдана Хитрово. Тот тоже ненавидел Матвеева: именно Матвеев доложил государю Алексею, что Хитрово, управляя Приказом большого дворца со своим племянником Александром Хитрово «...из всех Сытного, Кормового и Хлебного дворцов премножественным похищением всяких дворцовых обиходов явственно и бесстыдно по вся дни корыстовалися, великими посулами с дворцовых подрядчиков богатили себя».
И если б не внезапная смерть государя, ещё неизвестно, чем кончилось бы это дело для Хитрово. Однако царь умер, донос, соромивший дворецкого, был выкраден. Теперь подоспело время мести доносчику.
После изгнания Матвеева из царской аптеки надо было извергнуть его из Посольского приказа, который он возглавлял. Недруги искали повод, и он вскоре нашёлся. В Думу пришла жалоба от датского резидента Гея, отъезжавшего на родину: «Управитель Посольского приказа окольничий Матфеев браль на пятьсот рублей рейнские вина у меня, якобы поставленное им ко двору. И на мой требований прислали из Посольского приказа фальшивый контракт. Пусть Матфеев воротит мне эти деньги».
— Хэ-хэ, — потирал радостно руки Хитрово. — Испёкся наш Артамошка.
Жалобу прочли царю, тот сказал:
— Пусть уплатит всё сполна тому Гею, дабы не ронять лицо государства перед иностранцами.
Однако Дума, подогретая Милославским и Хитрово, подняла шум.
— Как так? Человек, опозоривший перед всем миром державу, стоит во главе Посольского приказа.
— Гнать такого, — кричал Волынский.
— В ссылку его, — подпевал Хованский-Тараруй.
А тут подоспела из Польши от русского резидента Тяпкина слезница, которую думный дьяк Иванов подсунул Стрешневу для прочтения государю.
— «В Краков на коронацию мне нечем подняться, — читал Стрешнев жалобу-грамоту Тяпкина, писанную им для начальника Посольского приказа, но никак не для государя. — Занять не добуду без заклада, а заложить нечего, одна была ферезеишка соболья под золотом и та ныне в Варшаве пропадает в закладе, потому что выкупить нечем. Поневоле не поеду на коронацию, ежели денег на подъём не добуду. Лошадь одна и была, на которой волочился на двор королевский и к панству, и та теперь пала. Выбресть не на чем в люди, придётся и самому так же издохнуть от скудости. Не такие тут порядки, что в государстве Московском, где, как пресветлое солнце в небеси, единый монарх и государь по вселенной просвещается и своим государским повелением, яко солнечными лучами, всюду един сияет: единого слушаем, единого боимся, един даёт и отнимает по данной ему, государю, свыше благодати. А здесь что жбан, то и пан, не боятся и самого Создателя, не только избранного государя своего, никак не узнаешь, где у кого добиться решения дела, все господа польские на лакомствах души свои завесили».