До 1917 г. кладбище было одним из центров Белокриницкого согласия, самого значительного течения старообрядцев-поповцев. Свое название оно получило по фамилии богатейших петербургских купцов Сергея и Федула Григорьевичей Громовых, выходцев из подмосковного старообрядческого села Гуслицы. В Петербурге им принадлежала Громовская лесная биржа – торговые склады близ Смольного. Другая биржа Громовых находилась на левом берегу Фонтанки, напротив Апраксина двора. Официальным главой петербургского поповства считался попечитель Королёвской моленной С.Г. Громов (1770–1840), жену которого, Елену Ивановну, старообрядцы называли госпожой Дому Израилеву, истинной рабой Христовой. Но фактическим лидером общины был младший брат, более осторожный Ф.Г. Громов (1773–1848), меценат и коллекционер, владелец лучшей в Петербурге оранжереи на Аптекарском острове.
Первоначально кладбище старообрядцев-поповцев, живших в Петербурге со времени основания города, находилось на Волковом поле, но когда при Павле I оно перешло к единоверцам, Ф.Г. Громов в 1825 г. подарил городской общине землю в другом месте, где девять лет спустя возникло новое кладбище с богадельней и моленной в деревянном доме. В 1835 г. «по прошению попечителей старообрядческого общества здешних купцов Сергея Громова и Никиты Дрябина» городские власти официально отвели для кладбища 11 854 кв. сажени земли. История старообрядческого духовного центра на Громовском кладбище начинается с 1844 г., когда была закрыта старообрядческая моленная в доме Королева на Ивановской улице. Вскоре после этого руководители общины обратились с ходатайством об открытии нового молитвенного дома на Громовском кладбище как единственном месте, где они уже имеют некоторую оседлость, и о перенесении в новую моленную святых икон, книг и церковной утвари (на кладбище к этому времени имелся только деревянный дом сторожа). Ходатайство рассматривал чиновник особых поручений при Министерстве внутренних дел И.П. Липранди, известный гонитель раскола. Как ни странно, в этом случае он поддержал староверов и советовал своему ведомству отнестись к просьбе поповцев с «гуманностью и терпимостью», и центр петербургского поповства переместился на Громовское кладбище, где вскоре построили деревянный дом со службами. С появлением в 1862 г. «окружного послания», которое разделило поповцев на окружников и неокружников, кладбище отошло к первым, которых было большинство. В 1862 г. кладбище расширили. Улица, отделявшая Громовское кладбище от разросшейся территории соседнего Митрофаньевского кладбища, получила название Старообрядческой (в советское время эта улица была переименована в Ташкентскую: в 2008 г. ей вернули историческое название). В 1867 г. архитектор К.К. Циглер построил при кладбище еще один дом. Теперь уже в двух домах помещались квартиры священников, главным образом выходцев из села Гуслицы, певчих, мужская и женская богадельни, общая столовая, пекарня, панихидная и даже гостиница для приезжих. В 1878 г. небольшая церковь с главкой была расширена двумя приделами, а в 1906 г. украшена звонницей. 19 февраля 1907 г. при ней была учреждена старообрядческая община, решившая выстроить новый храм.