Эльза со стороны окружающих была объектом постоянной критики, так как ограничивала доступ в дом как посторонних, так и ученых коллег, предпочитая им знаменитостей от политики и искусства, то есть всячески поддерживала созданный средствами массовой информации образ Эйнштейна.
«Эйнштейну нравилось внимание общества к его особе, он любил, чтобы его слушали, и резко отзывался о собственной популярности скорее всего потому, что стыдился своего тайного тщеславия». Его сын Ганс Альберт вспоминал, что во время совместного с отцом путешествия по американской глубинке никто отца не узнавал, это огорчало его и нервировало. Брачные представления Эйнштейна были рождены горьким опытом: сперва это была неудача с Милевой, а теперь - все более лишенные чувств отношения с Эльзой. Альберт и Эльза очень отличались друг от друга. Эльза заботилась о соблюдении приличий; Альберт плевал на всякие условности и приличия. Она была преданной и любящей женой, в то время как Эйнштейн из-за своих внебрачных интересов заработал в кругу тех немногих, кто был посвящен в его дела, репутацию волокиты. Любовные похождения мужа вызывали у Эльзы такие же приступы ревности, как в свое время у Милевы, за что тот порицал ее. Теперь Эльза днями не разговаривала с мужем, ограничиваясь только необходимыми фразами.
Есть сведения, что в течение нескольких лет в двадцатых годах у Эйнштейна был роман с одной из первых его секретарш, племянницей его близкого друга доктора Ганса Мюзама. Януш Плющ отзывался о своем друге как о человеке «достаточно сексуальном», в полной мере пользующемся своим обаянием. Горничная Эйнштейнов, служившая у них несколько лет, говорила: «Ему нравились красивые женщины, а они его просто обожали».
Эльза умерла в 1936 году, муж не стал соблюдать положенный семидневный траур и просто распорядился: «Похороните ее». После смерти Милевы (в августе 1948 года) младший сын Эйнштейна Эдуард с 1950 года жил под опекой доктора Генриха Майли, который поселил его в деревне под Цюрихом у местного пастора, при этом первые недели Эдуард не шел ни на какие контакты с окружающим миром, проводя время за фортепьяно. Постепенно он начал общаться с сыновьями пастора, стал своим человеком в деревне и начал подрабатывать - писал адреса на конвертах для одной местной фирмы. Но через год опекун переселил его на окраину Цюриха, к вдове юриста, что не способствовало улучшению психического состояния Эдуарда, пастор пытался вернуть его, но получил отказ.
В этот период душевнобольной сын Эйнштейна очень интересовал (не отца!), а друга гения - Карла Зелига, его первая встреча с Эдуардом состоялась в начале 1952 года, Зелиг отметил большие провалы в памяти Эдуарда. Благодаря Зелигу, сумевшему стать другом, Эдуард смог многое узнать о своей семье.