W tutejszych okolicach, ze względu na bogate zjawiska krasowe, można odnaleść siedem grot i jaskiń. Najbardziej znana z nich to znajdująca się obok kościoła pw. Wszystkich Świętych grota, która nazywana jest Jaskinią Szydły.
Nazwa według tutejszych legend pochodzi od miejscowego zbója, który ową grotę zamieszkiwał, a następnie miał się przyczynić do powstania miasta. Jaskinie są niewielkich rozmiarów, największa z nich ma bowiem 8,5 m długości, jednakże są godnym uwagi miejscem do odwiedzenia. Większość z nich była wykorzystywana przez ludność zarówno w celach mieszkalnych, jak i następnie gospodarczych. Pośród Szydłowskich jaskiń należy wymienić: Jaskinia Grota Szydły I, Jaskinia Grota Szydły II, Jaskinia Szydłowska oraz cztery inne, które nie zostały dotąd nazwane. Jedna z nich, Jaskinia Szydłowska została odkryta w górze zamkowej oraz opisana w 1878 roku, jednakże obecnie jest uznawana za nieodnalezioną.