Когда Лев Расторгуев начинал строительство, он в качестве архитектора подрядил каторжного из тобольской тюрьмы, которому пообещал свободу за хорошую работу. Расторгуев дал слово, что если не получится освободить архитектора официально, то он устроит ему побег. Но своего купеческого слова не сдержал. Оказавшись вновь на каторге в кандалах, несчастный проклял свое творение и его хозяев, после чего повесился.
Лев Расторгуев, говорят, имел на совести и другие грехи. Он якобы уморил свою первую жену, чтобы жениться на цыганке. И проклятья погубленных им людей не прошли бесследно. От двух жен заводчик имел 21 ребенка, большая часть которых умерли в младенчестве (как мы знаем, в живых остались только две дочери). В 1822 году на его заводах рабочие и крестьяне начали бунтовать. Для их усмирения был направлен армейский карательный отряд. То ли Расторгуева от этих событий хватил апоплексический удар, то ли заводчик выпал из окна.
После смерти Льва Ивановича усадьбой стал заправлять его зять Петр Харитонов. Он нанял известного екатеринбургского архитектора Малахова, который достроил и облагородил дом, превратив его в настоящий дворец, который получил название усадьба Расторгуевых-Харитоновых. В этом особняке в 1824 году останавливался даже сам император Александр I.
О Петре Харитонове говорили разное. По одной из версий, он был человеком скромным и миролюбивым, ставшим жертвой гонений на старообрядчество. Однако городские легенды называли Харитонова кутилой, пропивавшим и спускавшим в карты весьма приличные суммы. В своей усадьбе он якобы устраивал грандиозные попойки, и даже лошадей в конюшне там поили шампанским из ведер. Но несмотря на то что Петр Яковлевич швырял деньгами направо и налево, с должниками он поступал весьма жестко. Поговаривали о том, что они навсегда исчезали в подвалах дома Харитонова. А служивший у него садовник перед смертью покаялся, что «загубил по приказанию хозяина много людей в подвалах дворца».
Жестокость Расторгуева, Харитонова и Зотова оставила свой след. Их уже давно нет, а в усадьбе на Вознесенской горке, по слухам, до сих пор обитают призраки замученных ими людей, в том числе привидения первой жены Расторгуева и архитектора-каторжника. Подземелья из дома Расторгуева-Харитонова тянутся через парк, окружающий усадьбу.
Те, кто гуляет в парке с собаками, замечают, что животные подчас ведут себя в нем странно: словно бы видят кого-то невидимого.
Жена-клептоманка
Дом из красного кирпича, принадлежавший купцу Алексею Железнову, когда-то выделялся среди окружавших его деревянных строений. Стоит здание на улице, носящей ныне имя Розы Люксембург, и сейчас нестандартная архитектура дома, конечно, померкла на фоне его соседа — «Атриум Палас Отеля». Но зато в здании водится призрак, с присутствием которого приходится мириться сотрудникам Института истории и архитектуры УрО РАН, ныне расположенного в доме купца.