Поскольку отец Елены, полковник фон Ган, был человеком военным, из-за чего семья была вынуждена постоянно переезжать с места на место, маленькой Лоло и ее младшей сестричке Верочке приходилось вместе с родителями жить в армейских походных условиях. Девочки часто оставались под присмотром не только гувернанток и нянек, но и ординарцев отца, которые всячески баловали маленьких барышень, предлагая им забавные игры и игрушки, свойственные, скорее, крестьянским мальчишкам, чем девочкам из общества.
Приходилось семье фон Ган жить и в калмыцких степях. Это оставило в жизни Лоло особый след.
Домов для проживания в степях не было, поэтому семьи офицеров, так же, как и местное население, жили в юртах. Лоло и Верочка тут же окрестили свою юрту в шатер «Шемаханской царицы» из сказки Пушкина и с удовольствием играли в персонажей из других восточных сказок, а Лоло даже нашла своего «чародея». Она завела довольно странную дружбу с калмыцким шаманом, удивительные речи которого слушала буквально «открыв рот», с интересом наблюдая за его священнодействиями. Шаман умел вызывать дождь, без слов отдавать приказы животным и производил какие-то волшебные манипуляции, после которых случались истинные «чудеса». Чародей разглядел в девочке «нечто», близкое к его дару, и предрек, что в будущем этого ребенка ждут великие дела, которые прославят ее на весь мир. На прощание он подарил Лоло талисман – серебряное кольцо с агатом, на котором были выгравированы непонятные слова и какие-то знаки.
Странный выбор друзей и партнеров по играм беспокоил родственников маленькой Лоло. Повзрослев, она оставалась совершенно равнодушной к модным веяниям в кругах молодежи, а также к условностям дворянского общества.
Отец Елены был потомком старинного немецкого рода наследных Макленбургских принцев Ган фон Роттерганов. Он имел все, что по общепринятому мнению необходимо мужчине для счастья – успешную военную карьеру, молодую красавицу-жену и двух прелестных дочек. Мать, Елена Андреевна, урожденная Фадеева, литературно одаренная натура, происходила из древнего почитаемого русского рода князей Долгоруких. По воспоминаниям современников, «сочинения Елены Андреевны признавались явлением в русской литературе. Она прославилась как известная романистка, писавшая свои произведения под псевдонимом «Зинаида Р-ва». Ей восхищались и почитали за русскую Жорж Санд. К сожалению, мать Елены после рождения третьего ребенка, сына Леонида, умерла, когда ее старшей дочери, Елене, едва исполнилось одиннадцать лет. Убитые горем родственники и отец решили, что лучше всего будет отдать детей на воспитание бабушке по материнской линии – Елене Павловне Долгорукой, в замужестве Фадеевой. Ее муж в то время служил крупным государственным чиновником в Саратове.