Но ей приходилось подолгу ожидать ответных писем, а в одном из писем Эйнштейн написал, что Бог обратил его стопы к одному из ангелов, который, как оказалось, принял облик зрелой женщины…
Роман с Эйнштейном и разрыв с ним травмировали Мари, а трагедия 1906 года (см. ниже) усугубила ее нервное состояние. Умерла она в 1957 году в лечебнице для душевнобольных.
В двадцатилетнем возрасте у Эйнштейна начался роман с Милевой Марич, которая была старше его на четыре года. Полина, мать Эйнштейна, стала проявлять явную враждебность по отношению к Милеве, когда поняла, что в отличие от прежних увлечений Альберта его нынешние отношения зашли слишком далеко. Однако ссоры с матерью прекратились, Эйнштейн стал откликаться на малейшее ее желание.
В то время, когда Милева старалась пересдать выпускные экзамены, Эйнштейн, вместо того чтобы быть с ней рядом и поддержать в период испытаний, «предпочел провести каникулы с матерью и сестрой», пожелав в очередном письме удачи на экзаменах. Приехав в родной дом и получив безобразное письмо от Полины Эйнштейн, Милева написала: «Как видно, у этой дамы одна цель: испортить как можно больше жизнь не только мне, но и своему сыну… я никогда бы не поверила, что бывают такие бессердечные люди, она же воплощенная злость!»
Хотя Эйнштейн и отказался расстаться с Милевой, решение избавиться от внебрачной дочери Лизерль могло отражать также его желание смягчить гнев матери. Кроме того, наличие незаконнорожденного ребенка наносило удар по начинающей развиваться карьере молодого инженера. Законный старший сын, Ганс Альберт, родился в 1904 году. Есть основания предполагать, отмечают биографы Эйнштейна, что Милева, как и в студенческие годы, продолжала исполнять при Эйнштейне роль научного секретаря. Семьи Эйнштейна и Бессо сдружились.
Имеются данные, что в 1908 году отношения между Эйнштейном и Милевой были теплыми. Уже будучи взрослым, Ганс Альберт писал о своей матери: «Она была типичной славянкой с очень сильными и устойчивыми отрицательными эмоциями. Она никогда не прощала обид». Видимо, вслед за отцом Ганс Альберт считал, что «славянку» можно было бы оскорблять безнаказанно, не вызывая при этом с ее стороны «отрицательных эмоций».
В 1910 году родился второй сын - Эдуард. Связь Эйнштейна с женой все ослабевала, он вел себя скорее как холостяк, нежели как человек семейный. Отношения между ними ухудшились в 1912 году, когда у Эйнштейна возобновились контакты с кузиной Эльзой.
В одном из писем кузине Эйнштейн с возмущением опровергает мнение Эльзы о том, что Милева им помыкает, но ведь это мнение у кузины сложилось в результате жалоб Эйнштейна на жену.