Свою жену в этих же письмах он характеризует как «подозрительную и неприятную». Эйнштейн писал кузине, что, когда он бывает вдвоем с женой, они проводят время в «ледяном молчании», которое кажется ему «еще более ненавистным, чем прежде». Но намерений расстаться с ней у Эйнштейна не было, напротив, он хотел продолжить свой роман с Эльзой, сохраняя видимость благополучного брака и не нарушая условностей чересчур сильно.
Эйнштейнам предстоял переезд в Берлин, где открывались для главы семьи большие карьерные возможности. Однако Милева тяжело переживала по поводу переезда, ведь там возобновились военные действия между Полиной и ею. Вскоре отношения были прерваны полностью, Эйнштейн не возражал и написал Эльзе, что, «когда его мать кого-то ненавидит, то становится по отношению к этому человеку очень коварной».
Супруги переехали из Цюриха в конце марта, но в Германию ехали порознь, так как Эйнштейн собирался заехать в Антверпен, затем в Лейден для встречи с Эренфестом и Лоренцем, а Милева поехала лечить детей во время каникул в Локарно. «Как хладнокровно заметил Эйнштейн, у всего есть положительные стороны. Приезд Милевы в Берлин откладывался, и Эйнштейну предоставлялась возможность свободно проводить время с возлюбленной»[2].
В 1914 году Милева с детьми на летние каникулы уехала в Цюрих, этот отъезд для Эйнштейнов стал концом семейной жизни, к мужу Милева уже не вернулась, разрыв она перенесла очень тяжело.
« То, что связь Эйнштейна с кузиной так долго оставалась тайной, можно приписать как его незаурядному умению заметать следы», так и тому, «что люди, знавшие правду, позаботились о том, чтобы скрыть ее на несколько десятков лег»[2] (выделено мной. - В.Б.).
Эльза была на три года старше Эйнштейна, после 12 лет совместной жизни она развелась со своим мужем, торговцем текстилем, от которого родила двух дочерей, Ильзу и Марго. «Ее материнский инстинкт граничил с ненормальностью… она управляла дочерьми по своему произволу» (так писал муж Марго Марьянов, кстати, их брак тоже оказался неудачным, так как Марго не могла освободиться от влияния матери). Когда Эльза состарилась, Эйнштейн чаще показывался на людях с Марго (разведенной к этому времени). В результате второго брака (с Эльзой) Эйнштейн обзавелся двумя приемными дочерьми, которые взяли его фамилию еще до того, как он удочерил их официально.
Интересно то, что аналогичная история произошла через несколько десятков лет с академиком А.Д. Сахаровым: дети его жены Е.Боннэр объявили себя детьми академика, а когда настоящие дети начали протестовать, им было сказано: «Если вы хотите избежать недоразумений между нами, измените свою фамилию» (Н.Н. Яковлев, «ЦРУ против СССР»)[9].