머리말

계산을 도구에 맡긴 지는 이미 오래되었다. 검정통계량을 손으로 구하고 임계값을 표
에서 찾던 일은 계산기와 통계 프로그램이 진작에 가져갔다. 새로운 것은 그 다음이다.
이제는 분석 코드를 짜는 일, 방법을 골라 주는 일, 결과를 문장으로 옮기는 일까지
생성형 인공지능이 몇 초 만에 해 준다. 계산을 넘어 분석의 실행 전체가 도구의 몫이
되어 가는 셈이다. 그렇다면 연구자에게 남는 일은 무엇인가. 이 책의 답은 판단이다.
어떤 연구문제에 어떤 설계와 방법이 맞는지, 그 방법의 바탕에 놓인 가정이 내 자료에
서 성립하는지, 도구가 내놓은 결과가 옳은지, 그리고 그 결과가 연구의 언어로 무엇을
말할 수 있고 무엇을 말할 수 없는지 - 이것들은 도구가 아무리 유능해져도 넘길 수
없는 몫이다. 오히려 분석이 쉬워질수록 잘못된 분석도 그만큼 쉽게 만들어지므로,
판단의 무게는 전보다 무거워졌다.
그래서 이 책은 지면을 판단에 썼다. 공식의 유도와 계산 절차는 판단에 필요한
만큼만 남기고, 그 자리에 방법을 선택하는 까닭, 결과가 그렇게 나오는 이유, 해석이
허용되는 범위, 그리고 연구자들이 자주 저지르는 실수를 넣었다. 인과에 관한 주장은
통계량이 아니라 연구 설계와 이론이 뒷받침한다는 것, 유의성과 효과의 크기는 서로
다른 질문에 답한다는 것, 가정 검정 하나의 p값으로 가정 충족을 기계적으로 판정할
수 없다는 것 같은 이야기가 장마다 반복되는 이유가 여기에 있다. 각 장의 끝에는
「연구자들이 자주 하는 실수」와「생성형 인공지능을 사용할 때」를 두어, 도구에 일을
맡기면서도 그 결과가 맞는지 스스로 판단하는 눈을 기르도록 했다.「생각해 볼 질문」
가운데 생성형 인공지능에게 계산이나 분석을 맡기고 그 출력이 맞는지 판단하게 하는
문제에는 [AI 활용] 표시를 붙여 두었다. 본문과 연습에 쓰인 예제 자료는, 출처를 밝힌
몇몇을 제외하면 모두 설명을 위해 만든 가상의 자료임을 밝혀 둔다.
솔직하게 밝혀 두어야 할 것이 있다. 기본적인 통계 개념을 처음부터 차근차근
배우는 것이 목적이라면, 그 설명에 지면을 아끼지 않은 다른 교재를 보는 편이 더
나을 수 있다. 이 책에도 핵심 개념의 설명은 있고 나름대로 공을 들였지만, 그 설명은
언제나 판단에 필요한 각도에서 들어간다. 표준적인 설명의 완결성보다 판단의 훈련
에 우선순위를 두었고, 참조하면 되는 지식은 과감히 줄였다. 대신 논문을 읽고 쓰는
사람이 실제로 마주치는 결정들 - 연구문제를 계획으로 옮기는 일, 측정과 표집의
질을 따지는 일, 보고된 결과를 비판적으로 읽는 일 - 에는 지면을 아끼지 않았다.
검정을 한 번도 직접 돌리지 않을 독자라도 남의 논문에서 “p 〈 .05이므로 효과가
검증되었다”라는 문장을 만났을 때 그 뒤에 어떤 결정들이 숨어 있는지 따져 물을 수
있게 되기를 바란다.
한 가지 더 일러둘 것이 있다. 이 책이 권하는 방식이 지금의 연구 관행과 늘 일
치하지는 않는다. 효과크기에 신뢰구간을 붙여 보고하는 일은 아직 드물고, 처치의
방향이 분명한 연구에서도 대부분은 관습에 따라 양측검정을 쓰며, 가정 검정의 p값
하나로 후속 방법을 고르는 두 단계 절차도 여전히 널리 쓰인다. 이 책은 그런 관행을
몰라서가 아니라 알면서, 더 나은 근거가 있는 쪽을 권한다. 그러니 이 책대로 했는데
주변의 논문들과 다르다고 당황할 일은 아니다. 학술지와 심사자가 관행을 요구하는
자리에서는 관행을 따르는 것이 현실적인 선택일 수 있다. 다만 그 관행이 무엇을
놓치는지 알고 따르는 것과 모르고 따르는 것은 전혀 다르며, 이 책이 기르려는 것은
앞의 태도이다. 제안과 관행이 어긋나는 대목마다 본문에 그 사정을 적어 두었다.
연구방법론 수업을 들은 학생들이 늘 하던 말이 있다. 이 과목은 두 번 들어야 더
잘 이해된다는 것이다. 처음 들을 때는 용어와 절차를 따라가기에 바쁘지만, 자신의
연구문제와 자료를 가지고 다시 들으면 같은 내용이 전혀 다른 깊이로 읽힌다. 이 책도
마찬가지일 것이다. 처음에는 각 장의 흐름을 따라 읽고, 연구를 계획하거나 논문을
읽다가 판단이 필요한 대목에서 다시 펼쳐 보기를 권한다. 두 번째 읽기에서 이 책은
처음과 다른 책이 되어 있을 것이다.
이 책은 교육연구, 그 가운데에서도 양적 연구를 수행하는 연구자와 그것을 배우는
대학원생을 독자로 생각하며 썼다. 자료와 도구를 앞에 두고 무엇을 판단해야 하는지
알고 싶은 사람이라면 어느 분야의 독자든 환영한다.
황지현