В плодородной местности между обеими реками развивалась не только мирская жизнь. В долинах рек телились индуистские и буддийские монахи, которые использовали здешние пещеры для монастырей и отшельнических пустыней. До нашего времени остатки от них сохранились в районе Бедулу, в 30 километрах от Денпасара.
Прямо над одной из излучин Петану, намного ниже уровня сегодняшней дороги, в 1923 году была обнаружена пещера Гоа Гаджа (Слоновый грот), относящаяся к наиболее впечатляющим древностям, с которыми знакомит нас Бали. Т-образной формы, она углубляется в скалистые берега реки и имеет много ниш. Над входом несет свою сторожевую вахту до сих пор не опознанная голова какого-то чудовища с огромной пастью, мощной челюстью и широко расставленными глазами под выпуклыми дугами бровей. Вся фронтальная часть пещеры покрыта барельефом, символизирующим мировой хаос.
Гели спросить простого балийца о возникновении и значении пещеры, он расскажет легенду о великане Кбо Ибо, который вырыл грот прямо в скале своими мощными ногтями, а затем создал голову демона, взяв за образец самого себя. Другие балийцы считают, что эта устрашающая маска принадлежит не демону, а ведьме, и думают при этом о вездесущей Рангде.
Голландский ученый Б. М. Гослингс связал барельеф с древнеиндийским сказанием. Он считает, что это голова Пасупати — божества вулканов, разрушительной эманации Шивы, который взорвал индийскую гору богов Ма камеру и перенес на Бали обе ее части, ставшие Гунуиг Агунгом и Гунунг Батуром.
Пещера с самого начала, несомненно, была шиваитским святилищем. В правой части ее на каменном алтаре находится тройственная фигура Шивы-Лингама, символизирующая духовное триединство индуистских богов — Брахмы, Шивы и Вишну. Слева восседает на троне Ганеша (сын Шивы и богини Умы) с головой слона.
Может быть, это изображение в пещере и дало ей название, а возможно, оно связано с более ранним названием Петану — Лва Гаджа, что означает Слоновая река. Однако, поскольку на Бали никогда не было слонов, это название еще раз свидетельствует об индийском влиянии, и тем самым мы в конце концов возвращаемся к могущественному сыну Шивы — Ганеше.
В 1954 году напротив Гоа Гаджа было обнаружено святилище воды с шестью стоящими женскими фигурами. Каждая из них держит в руках сосуд, из которого вытекает струя воды. Объяснить значение этих фигур размером выше человеческого роста, изготовленных из туфа, вероятно божественных нимф, дарящих святую воду, весьма нелегко. Очевидно лишь, что это — древнее место священного омовения и жертвоприношения, которое со временем было забыто.