C 1912 года Эйнштейн вел тайную переписку со своей будущей женой Эльзой. В 1914 году Эйнштейн и Марич расстались. Марич вместе с сыновьями вернулась в Цюрих. Оставшись в Берлине, Эйнштейн попытался в 1915 и 1918 году получить развод, пообещав Милеве в обмен деньги, полученные от Нобелевской премии. Премию, однако, он получил лишь в 1922 году, а брак был расторгнут в 1919 году.
Марич и оба её сына жили в очень стесненных обстоятельствах. После присуждения в 1922 году Эйнштейну Нобелевской премии она получила обещанные им деньги. На них в Цюрихе было приобретено три дома, один для нее с сыновьями и два в качестве инвестиции. В конце 30-х Эдуарду был поставлен диагноз шизофрения и два дома были проданы, чтобы покрыть лечение в психиатрической клинике при Цюрихском университете. Во избежание потери основного дома, права на него были переданы Эйнштейну, который регулярно переводил деньги на содержание Эдуарда и своей бывшей жены. Марич до самой смерти самоотверженно ухаживала за Эдуардом, чье психическое здоровье было окончательно разрушено сеансами электрошоковой терапии. Милева Марич скончалась в 1948 году в полном одиночестве в одной из цюрихских больниц.
В июне 1919 года Эйнштейн женился на своей двоюродной сестре со стороны матери Эльзе Лёвенталь (урождённой Эйнштейн) и удочерил двух её детей. С дочерьми Илзой и Марго, Эйнштейны создали дружную и крепкую семью. Хотя у Альберта и Эльзы так и не было общих детей, Альберт растил Илзу и Марго как своих родных.
В конце 1919 года к ним переехала его тяжелобольная мать Паулина; она скончалась в феврале 1920 года. Судя по письмам, Эйнштейн тяжело переживал её смерть.
В 1936 году в Принстоне умирает Эльза. Ее дочери остаются с Альбертом. Он о них заботится, одна из них – Марго Лёвенталь-Эйнштейн прожила в доме Альберта всю жизнь. Вместе с ним до конца жизни жила и его сестра Майа, которую он нежно любил.
В 1938 году к Эйнштейну приезжает сын Ханс Альберт с семьей. Ханс – специалист в области гидромеханики и гидравлики. Ханс Альберт работал инженером в Сан-Франциско. С отцом в Принстоне он проработал немногим более 5 лет. У них были довольно сложные взаимоотношения. Он так и не простил отца, ушедшего из семьи и, по его мнению, плохо относившегося к матери.
Альберт Эйнштейн был гениальный ученый, прекрасный скрипач, хороший яхтсмен, не всегда хороший муж, но всегда внимательный и заботливый отец, дед и брат.
Физик, перевернувший представления человечества о Вселенной, Альберт Эйнштейн умер 18 апреля 1955 в 1 час 25 минут в Принстоне от аневризмы аорты. Не воспринимая никаких форм культа личности, он запретил пышное погребение с громкими церемониями, для чего пожелал, чтобы место и время захоронения не разглашались. 19 апреля 1955 без широкой огласки состоялись похороны великого учёного, на которых присутствовало всего 12 самых близких друзей. Его прах был сожжён в крематории Юинг-Симтери, а пепел развеян по ветру.