За 13 лет брака Анастасия родила ему шестерых детей, из которых дочери и сын Дмитрий рано умерли, а выжили двое сыновей — Иван, нравом чрезвычайно похожий на отца, столь же яростный и жестокий, и слабовольный хилый Федор. Анастасия была незлобивой и ласковой, но не терпела попа Сильвестра, вероятно, ревнуя его к царю. А ревновать следовало других. Сладострастный царь изменял ей. На упрек Курбского царь ответил откровенно в своем Втором послании: «Будет молвиш, что яз о том не терпел и чистоты не сохранил, — ино все есмы человецы. Ты чего для понял стрелетцкую жену?» Анастасия стала много болеть и, не дожив до 30 лет, умерла. Царь «от великого стенания и от жалости сердца» валился с ног, но вскоре «нача яр быти и прелюбодействен зело». Позже его советники Сильвестр и Адашев были обвинены, что колдовством извели царицу.
Но уже через неделю духовенство обратилось к царю с предложением отложить скорбь и поскорее жениться вторично. Снова переговоры с Польшей и Швецией не имели успеха, и невесту привезли из Кабарды. Звали ее Кученей, перейдя в православие, она приняла имя Марии Темрюковны. Очень молодую и красивую, при осмотре царь сразу ее «полубил». По нраву оказался ему и агрессивный характер новой жены, дикой и жестокосердой. Свирепствовал и ее брат Михаил. Мария посоветовала мужу завести себе отряд телохранителей по кавказскому образцу. Но и телохранители не уберегли ее от утраты любви царя и от внезапной болезни. Она заболела в Вологде и по прибытии в Александровскую слободу в 1569 г. умерла. По легендам, царь ее отравил, но подтверждения не найдено.
Снова царь велел собирать невест по всему царству. В Москву свезли 1500 дворянских девок. Из них на многомесячном смотре отобрали 24, а из тех — 12 самых лучших. В последний день их заставили раздеться догола, и царь с сыном осматривали невест нагими, хотя на Руси невеста потому и называлась невестой, что жених до свадьбы не должен видеть и лица ее. Для женитьбы 40-летнего требовалось специальное церковное разрешение, но царю было нетрудно его получить. По совету Малюты Скуратова царь выбрал его родственницу Марфу Собакину, но вскоре после обручения (осенью 1570 г.) невеста стала «сохнуть», а тотчас после свадьбы (через две недели) умерла — умерла девицей. Царь так и не успел провести с ней брачную ночь. Разумеется, было объявлено, что царицу извели ядом злые люди, родственники покойных цариц Анастасии и Марии. Брата последней, Михаила Темрюковича, посадили на кол.
По результатам того же смотра невест взяли еще одну из победительниц Анну Колтовскую. Но этот брак (1571 г.) был уже четвертым. По православным же правилам можно было жениться только три раза. Для четвертого духовенство задним числом вынесло специальное постановление, касавшееся только царя — ему и только ему было разрешено жениться в четвертый раз. Тем не менее брак оказался неудачным и продолжался менее года. Царь отослал жену в монастырь под именем Дарьи.