Соломон в начале своего царствования даже пребывание в Иерусалиме дочери фараона (язычницы) считал осквернением святого города и построил для нее дворец специально вне городских стен. Потому ни он, ни его потомки не могли осквернить законную чистоту Иерусалима сооружением в нем гробниц. Тем более не мог этого допустить царь Давид, и тем не менее древние предания указывают на его гроб, находящийся на месте, раньше входившем в черту древнего Иерусалима.
В южной части Иерусалима, но теперь уже вне стен Старого города, возвышается гора Сион, на которой расположилась небольшая мечеть Неби-Дауд. Здесь за решеткой находится серебряный саркофаг, покрытый зеленым бархатным покрывалом, и называют его гробом царя Давида. Мечеть эта — древняя христианская церковь, возведенная на месте горницы Тайной вечери, с которой связаны самые давние предания христиан. Здесь совершились последняя трапеза Иисуса Христа с апостолами и омовение Спасителем ног своим ученикам, явление Его апостолам по Своем Вознесении, сошествие Святого Духа на апостолов…
В сочинении «О весах и мерах», приписываемом святому Епифанию Кипрскому, говорится, что на Сионской горе уже во времена императора Адриана (98—117) существовала небольшая церковь. Равноапостольная царица Елена украсила и расширила первоначальную церковь, и на ее месте в IV веке стоял уже более обширный храм, в котором были верхнее и нижнее отделения. В начале V века здесь сохранялась колонна бичевания, еще обагренная кровью Спасителя, и указывалось место сошествия на апостолов Святого Духа. Колонна эта поддерживала один из портиков Святого Сиона (первой христианской церкви, матери всех церквей), воздвигнутой в 390 году императором Феодосией Великим.
Однако, упоминавшийся уже А. Олесницкий считал, что христианские иноки, жившие в Сионской обители до захвата Иерусалима мусульманами, ничего не знали о находящейся здесь могиле царя Давида. И помещение на Сионскую гору гробницы основателя иудейского государства, объединившего под своей властью два царства — Иудею и Израиль, — это чисто мусульманское предание. Причем возникло оно тогда, когда эта часть Иерусалима была исключена из стен Старого города. По рассказу шейха мечети, никто из мусульман не только не был в катакомбах царя Давида, но даже не знал хода к ним. Тот, кто дерзнул бы войти внутрь гробницы, не вышел бы оттуда живым. Правда, существует легенда XII века о том, что гробницу эту будто бы посетили два подмастерья. Легенду эту в XIII веке слышал известный еврейский паломник Беньямин Тудела, и в его изложении она выглядит следующим образом: