Pustelnik znajduje się na Wzgórzu Rozalii na wysokości 560 m n.p.m. Murowana kaplica została wzniesiona po zarazie w 1679 r. jako kaplica wotywna p.w. Świętej Trójcy – w połowie XIX wieku do kaplicy dobudowano zakrystię. W roku 1704 przy kaplicy został wzniesiony domek pustelnika. Domek ten w latach 60 – tych XX wieku został rozebrany.
Po roku 1970 przez pewien czas w kaplicy mieściło się Muzeum Festiwali Chopinowskich. Przed kaplicą znajduje się kamienny nagrobek Rozalii Lebohne z 1685 roku. Nagrobek przedstawia leżącą kobietę w grocie, która lewą ręką podpiera głowę, a jej prawa ręka leży na kamiennej czaszce. W późniejszym okresie wzgórze nazwano Wzgórzem Rozalii od znajdującego się tam nagrobka.