Legenda głosi, że kamień spadł z nieba. Diablica niosąca kamień miała go upuścić, kiedy dzwony kościelne zaczęły bić na rezurekcję. Mówi się też, że kamień posiada dziwne właściwości - sprowadza ludzi na manowce (stąd nazwa "błędny").
Podobno kamień - przyrodnicza atrakcja okolicy - był niegdyś ogromny. Miejscowi twierdzą, że wystawał ponad szczyty drzew. Podczas wojny Niemcy chcieli go pokruszyć i wykorzystać do budowy drogi, ale nie udało im się wysadzić twardej skały. Kiedy w 1982 r. objęto kamień ochroną, wystawał ponad powierzchnię ziemi już tylko nieco ponad metr. Dziś jego wierzchołek jest na poziomie gruntu, bo kamień… ponoć się zapada.
Z geologicznego punktu widzenia Błędny Kamień to "egzotyk", czyli fragment skalny, nie związany pod względem pochodzenia z podłożem, w którym się znajduje. Być może przyniósł go lądolód.