질문 하나가 데이터의 진실을 결정한다
생각을 측정하는 과학, 설문 설계의 모든 것
데이터의 철학·설계의 과학·연구의 윤리까지, 진실을 비추는 거울을 만드는 완벽한 로드맵

우리는 질문을 통해 타인의 생각을 이해하고 사회의 방향을 가늠하며 스스로를 성찰한다. 기업은 질문으로 시장을 읽고, 정부는 질문으로 정책의 정당성을 묻고, 개인은 질문을 통해 자신의 상태를 점검한다. 이처럼 설문은 세상을 이해하는 가장 보편적인 도구이지만, 동시에 가장 쉽게 오용되는 도구이기도 하다. 같은 사안을 두고 조사 기관마다 전혀 다른 결과가 나오는 이유는 무엇일까. 그 원인은 대부분 질문 그 자체에 있다. 질문의 표현, 보기의 구성, 문항의 배열 방식에 따라 응답은 극적으로 달라지며, 잘못 설계된 질문은 현실을 비추는 거울이 아니라 왜곡된 요술 거울이 된다. 이 책은 바로 그 지점에서 출발한다. 우리가 얻고 있는 설문 데이터는 과연 진실을 반영하고 있는가라는 근본적인 물음이다.

저자는 설문을 단순한 문항 작성 기술이 아니라 인간의 인지 과정과 측정 이론이 결합된 과학적 설계 행위로 정의한다. 좋은 질문은 문장이 매끄럽다고 완성되지 않는다. 응답자가 질문을 어떻게 이해하고, 기억에서 정보를 어떻게 인출하며, 어떤 판단을 거쳐 답을 선택하는지를 고려해야 한다. 설문 응답이 ‘이해·인출·판단·응답’이라는 네 단계의 인지 과업을 거친다는 점을 밝히고, 각 단계에서 발생할 수 있는 오류를 체계적으로 설명한다. 이를 통해 설문지가 왜 사소한 표현 하나로도 신뢰성을 잃을 수 있는지를 논리적으로 보여 준다.

이 책은 총 10장에 걸쳐 좋은 질문이 탄생하기까지의 과정을 네 단계로 안내한다. 먼저 측정의 철학과 기본 원칙을 통해 좋은 질문의 기준을 세운다. 질문은 명확해야 하고, 응답 가능해야 하며, 솔직한 응답을 이끌어낼 수 있어야 한다. 이어 개방형 질문과 폐쇄형 질문의 전략적 선택, 객관식 보기의 포괄성과 상호 배타성, 양극형·단극형 척도의 구분, 효과적인 평가 척도 설계 등 실무자가 반드시 알아야 할 핵심 기술을 다룬다. 나쁜 질문의 전형, 유도 질문과 이중 질문의 위험성, 민감한 질문에 대한 응답률을 높이는 방법, 문항 순서에 따른 맥락 효과 역시 구체적으로 분석한다.

마지막으로 설문지가 과학으로 인정받기 위한 검증과 윤리의 문제를 강조한다. 사전조사, 인지 면접, 전문가 검토를 통해 질문의 허점을 사전에 점검하고, 응답자의 권리를 존중하는 윤리 원칙을 설문의 핵심 요소로 다룬다. 질문은 중립적인 도구가 아니라 응답자의 시간과 생각을 요구하는 힘이라는 점을 분명히 한다. 좋은 질문이란 정확한 설계와 함께 응답자를 향한 존중이 결합될 때 완성된다. 신뢰할 수 있는 데이터를 만들고자 하는 모든 연구자와 실무자를 위한 가장 기본적이면서도 가장 깊이 있는 안내서다.