Jest to pomnik przyrody nieożywionej leżący naprzeciwko cmentarza, po prawej stronie drogi do zespołu pałacowego. Tuż obok kamienia swój początek miała opisana w "Popiołach" Stefana Żeromskiego aleja Grabowa.
Z kamieniem związana jest jedna z tutejszych legend, która mówi o tym, że wojowie - pouczeni i ochrzczeni, którzy przeszli na chrześcijaństwo, aby wypełnić swoją misję, rozpoczęli budowę domu dla "Nowego Boga". Gdy Czart królujący na Łysej Górze dowiedział się o tym, wpadł we wściekłość i aby nie dopuścić do ukończenia budowy, rozpoczął miotanie olbrzymimi skałami. Jednym z tych głazów jest właśnie Diabelski Kamień. W ten właśnie sposób miała powstać miejscowość Kurozwęki.
W pobliżu, na płynącej nieopodal rzeczce Jabłoniczce znajdował się także drewniany mostek łączący dwie zwaśnione ze sobą społeczności - mieszkających obok dworu „dworusów” i „mękoli”, czyli pozostałych mieszkańców miejscowości.