팔왕휴게소 맞은편에는 조령산으로 오르는 등산로가 있다. 등산로 초입에는 윗부분이 마당처럼 평평한 지름 4~5m쯤 되어 보이는 큰 바위가 놓여 있다. 몇 가족이 둘러앉아 놀기에 적합한 이 바위가 옛날에는 도적들의 은신처로 사용되었다. 바위 뒤에 숨어 있다가 잠시 쉬어가는 행인들을 덮쳤던 것이다. 그래서 '도적바위'로 불리게 되었다.

옛날 새재에는 도적떼들의 주 활동무대였다. 보부상 등 행인들의 왕래가 잦은 깊은 산 속 길이었으므로 도적들이 활동하기에는 더없이 좋은 장소였다. 성종 8년에는 한양으로 올라가던 세미마저 도둑들에게 강탈당했다. 이처럼 도적들의 횡포가 극심하자 세조 때에는 수령과 관찰사들에게 그 책임을 묻는 법이 제정되기까지 했다. 중종(1508)이 도관찰사들에게 내린 다음 글은 당시 도적떼들의 폐해가 얼마나 극심했는지를 잘 보여준다.

「문경 등지에서 백주에 떼를 지어 통행하는 길을 막아 약탈하고 공공연히 마을을 다니면서 의복, 양식, 반찬, 활, 화살 등을 탈취하며 또 소를 실어 가기도 하고, 행인과 마을 사람들로 하여금 이를 짊어지게 하며, 소는 잡아먹고 여자들을 공공연하게 붙잡아 가고, 양반집 부녀자들에게까지도 난행을 하려 든다고한다. 그래서 도처의 사람들이 떨고 두려워하여 손님 대접하듯이 하고, 조금이라도 뜻대로 되지 않는 일이있거나 뒤쫓아가서 체포하고자 하는 사람이 있으면 문득 살해한 것이 전후 30여 명이 되며, 3개 도에 출입하면서 산림에 의지하여 옮겨다니기를 예사로 한다. 혹은 각 관청의 군 무기까지 탈취하기도 하고, 혹은 빼앗아 불사르기도 하여, 조령 등지는 길이 막혀 다닐 수가 없게 되었다. 나라의 관리도 지나기가 어렵다고 하니, 이것은 작은 일이 아니다. 사실이 이미 전파되어 조정에서도 벌써 들었는데, 경 등은 조치를 취해 붙잡지 못하고 또 아뢰지도 않으니, 한 방면의 책임을 맡긴 의의가 전혀 없다.」