Der Wallfahrtsort entstand aus der abgeschiedenen Einsiedelei eines Waldbruders. «Zwei Steinwurf» unterhalb der heutigen Kirche hatte sich der Kartäuser Johann Wagner 1489, von einem überhängenden Felsen geschützt, in einer Art Höhle niedergelassen. Heute erinnern dort ein Holzkreuz und eine Inschrift im Fels an ihn. Ein kleiner beschilderter Weg führt unterhalb der Kirche zur Sandsteinwand.
An Sonn- und Feiertagen sah man den Waldbruder in Kriens und Luzern, wo er zur Messe ging und Almosen sammelte. Vornehme Gönner errichteten ihm ein einfaches Bethäuschen – das erste Gotteshaus im Hergiswald. Bald wurde der Bruder von vielen Menschen aufgesucht. Hans Wagner starb 1516 sechzigjährig. Seine Gebeine ruhen in der steinernen Tumba (= sarkophagartiges Grabdenkmal) rechts vom Portal zur Liebfrauenkapelle.