Theo Tự phổ Hương Sơn và Phật thoại chùa Hương thì nơi đây là nơi lưu dấu tu hành của đức Phật Quán Thế Âm Bồ Tát, tức Phật Bà chùa Hương.