До моровой язвы богатые и состоятельные люди, как указывалось выше, погребались при монастырях и приходских церквах, например все члены рода Нарышкиных — в стенах Высокопетровского монастыря в храме Боголюбской Богоматери. Здесь по обеим сторонам стояли ряды соединенных между собой каменных памятников с поставленными на них черными дощечками. На эти дощечки в сокращении были перенесены старинные надписи, высеченные на памятниках внизу. До нашествия Наполеона памятники над захоронениями Нарышкиных были покрыты красным сукном, но французы в надежде найти сокровища разломали памятники, уничтожили некоторые надписи и похитили сукно. В 1830-х годах на каждом памятнике были поставлены образы святых, соименных погребенным.
Так погребались люди именитые, но для большинства бедных и безродных тоже надо было устраивать кладбища, где бы их погребали за умеренную плату или даже вовсе бесплатно. В XVI веке тела умерших насильственной смертью или скоропостижно скончавшихся вне дома, а также безродных тюремных узников, странников и убогих клали в часовнях в людных местах для опознания — в надежде, что их, может быть, кто-нибудь узнает и тем самым даст властям ключ к отысканию виновника смерти (если она последовала от насилия) или к отысканию родственников покойного. В Москве такие часовни располагались на крестцах Китай-города: Никольском, Ильинском и Варварском. Но в летнее время держать умерших более 3–4 дней было нельзя, а их иногда набиралось столько, что в часовнях не хватало места. Поэтому со временем в санитарно-гигиенических целях в окрестностях Москвы стали устраивать особые помещения барачного типа, „оборудованные ямами со льдом“, для таких покойников и кладбища для погребения их. Так образовались Божьи (или Убогие) дома, которые, как и сами умершие, предоставлялись воле Божьей или благотворительности православных людей.
Обычно Божьи дома устраивались при окраинных монастырях и церквах, где к весне скапливалось большое количество покойников, так как зимой они почти не погребались. Православный люд стекался сюда в основном в весенние и летние праздники (на Пасху, Троицу и в другие), а осенью — под Покров и приносил свои посильные пожертвования на погребение „бездомных“, на совершение общей панихиды и на поминовение умерших.
Так возникло кладбище Крестовоздвиженского убогого дома, окруженное владениями князя К.О. Щербатова, окольничего И.Ф. Пушкина, стольника И. Волынского и частью государевой земли. В то время местность эта была мало заселена и состояла по большей части из огородов землевладельцев и отдельных дворов, а речка Неглинная, с крытыми берегами и запрудами, в этом месте протекала открыто. Сначала это кладбище было незначительным по площади, но потом быстро расширилось. Другой Божий дом с собственным кладбищем располагался за Земляным городом и принадлежал Покровскому монастырю. Пашенные и кладбищенские земли монастыря соседствовали с землей митрополита Крутицкого, и иногда между владельцами возникали недоразумения из-за земель.