1 설문조사의 등대인 타당도 신뢰도
1.1 설문조사의 등대인 타당도 validity: 사랑에 대한 설문은 사랑에 대한 것이어야
설문조사라는 여정의 등대 둘 중 하나인, 타당도를 알아본다. 세 가지 문항으로 이루어진 다음 설문을 응답해본다.
내 현재 생활을 제쳐두고, 그 사람과 모든 시간을 같이 보내고 싶다.
예( ) 아니오( )
그 사람이 내가 원하는 것은 무엇이든 해주면 좋겠다.
예( ) 아니오( )
어디에서 시간을 보내는지 매시간 단위로 알려주면 좋겠다.
예( ) 아니오( )
이 설문을 만든 사람은, 사랑에 대한 설문이라고 한다. 정말 사랑에 대한 설문이 맞는가?
만약에 사랑에 대한 설문이 맞다면, 이 설문은 타당도가 있는 것이다. 이렇게 측정하려고 하는 것을 측정하는가를 따지는 것이 타당도이다. 설문조사에서 따라야 할 두 가지 기본적인 기준 중 하나이다.
영어로는 validity [vəlídəti] 이다. YBM 교학사 사전에 나오는 정의는 다음과 같다.
이 사전에서는 정당성 확실성 같은 의미를 찾을 수 있다.
(주장·결론 등의) 정당(성), 타당(성); 〈법률〉 (법적) 효력, 유효(성), 적법(성), 합법(성)
정당함, 타당성, 확실성; [法]효력, 유효성, 합법성
타당성은 정확성으로 이해하면 된다. 어떤 이야기가 타당하다는 것은, 정확하다는 의미이기도 하다.
앞서 사랑에 대한 설문을 얘기해보자. 사랑이라는 과녁을 설문이라는 화살이 그 중심에 맞추고 있으면, 타당성이 있다. 정확한 활쏘기라는 의미이다.
배를 타고 나서는 바다 여행에 설문을 비유하자면, 타당도는 등대 역할을 한다.
그렇다면 사랑에 대한 설문도 하나의 항해이다. 만약에 앞서 세 문항으로 이루어진 사랑에 대한 설문이, 실제로는 사랑에 대한 것이 아니라면 타당도가 없는 것이다.
만약에 사랑에 대해서 물어보는 것이 아니라고 생각한다면, 이 세 가지 질문은 무엇에 대한 설문이라고 생각하는가?
1.2 또 다른 등대인 신뢰도 reliability: 믿고 쓸 수 있어야
reliable [riláiəbl] 이라는 표현은 믿고 쓸 수 있다는 의미이다. 자동차 관리에서 많이 쓰이기도 한다.
“믿고 정비를 맡길 수 있는 사람을 구해야 해.” 라는 일상 표현이다.
“You need to find a reliable mechanic.”
설문조사에서의 신뢰도는 이러한 영어 의미와 완전히 일치한다. 그리고 우리가 자동차를 맡길 때와 마찬가지로 이러한 신뢰도는 몇 가지 의미를 같이 가지고 있다.
reliable 이라는 영어 단어는 자동차를 맡길 때 몇 가지 의미를 같이 포함하고 있다.
불필요한 정비를 권유하지 않는다.
적정 가격을 제시한다.
고객의 안전과 주머니 사정을 먼저 생각한다.
고치겠다는 것을 한번에 제대로 고쳐낸다.
다음 책 95쪽은 저자와 비슷한 비유를 내어놓고 있다.
검사 신뢰도reliability는 같은 식당에서 식사를 계속 반복해서 하는 것에 비교할 수 있다. 좋은 음식을 제공하는 식당의 신뢰도가 매우 높다는 것은, 방문할 때마다 같은 음식을 반복하여 주문해도 언제나 같은 수준의 휼륭한 맛을 느낄 수 있다는 뜻이다 …
마찬가지로, 신뢰도가 높은 검사는 피검자가 최선의 결과를 얻을 수 있도록 돕는다. 즉, 잘 만들어진 검사로서 최적의 실시 환경하에서 치러지는 것이다. 가설적으로, 피검자의 지식 상태가 동일하게 유지된 상태에서 신뢰도가 높은 검사를 반복하여 계속 치른다면(예를 들어, 학업성취도 검사의 경우 정답을 보거나 관련 내용을 공부하지 않고 반복한다면) 매번 같은 점수를 받게 된다.
타당도 그리고 신뢰도는 설문조사에서의 두 개의 등대이다. 그리고 앞서 타당성을 정확성이라고 표현한 것처럼 하자면, 신뢰성은 일관성이다.
1.3 신뢰도 reliability = 일관성 consistency, 안정성 stability
설문에서 신뢰도는 일반 생활에서의 의미와 동일하다. 다음 책 213쪽에서도 이를 확인해준다.
그리고 신뢰도 개념을 다른 개념과 연결시켜준다. 일관성 consistency, 안정성 stability 이다.
검사에서의 ‘신뢰롭다 reliable’ 는 말은 우리가 일상생활 속에서 사용하는 것과 그 의미가 매우 유사하다. 신뢰로운 사람을 믿을 수 있듯이 우리는 신뢰로운 검사를 믿게 된다 …
만일, 개인의 지식이나 특성이 실제로 변하지 않았다면 여러 차례에 걸쳐 동일한 검사를 실시했을 때 도출된 검사점수들이 일관적일 것이다 …
반대로 여러 차례에 걸쳐서 얻어진 점수들이 매우 상이하다면 어떤 점수가 그 사람의 지식이나 특성에 대한 정확한 추정치인지를 알 수 없게 되고, 따라서 이 때의 검사점수들을 우리는 신뢰할 수 없게 된다. 그러므로 신뢰도에 대한 동의어는 일관성 consistency 과 안정성 stability 이라고 볼 수 있다.
1.4 타당도 신뢰도, 과녁의 비유
타당도 신뢰도 두 가지를 과녁에 비유한다. 다음 과녁은 신뢰도도 있고 타당도도 있다
타당도는 정확성이다. 다음의 과녁은 분포의 중심점이 과녁의 중심과 일치한다. 정확하기 때문에, 타당도가 있다.
신뢰도는 일관성이다. 들쭉날쭉하지 않고 일관성 있게 한 곳에 총탄이 몰려있다.
다음의 과녁은 앞서와는 정반대이다. 신뢰도도 없고 타당도도 없다. 총탄은 정확하지 않다. 중심에서 벗어나 있다.
또한 여기저기에 흩어져서 분포하고 있다. 일관되게 한 곳에 모여있지 않다.
--- 본문 중에서