정답을 맞히는 평가에서 사고를 읽는 평가로
선택형 평가는 빠르고 일관되지만 학습자가 어떻게 생각하고 이해했는지까지 보여 주기는 어렵다. 서논술형과 구술형 평가는 비판적 사고와 논리적 추론, 문제 해결 과정을 드러내지만 채점에 많은 시간과 비용이 들고 평가자 간 편차도 크다. 이 책은 LLM, 자동 음성 인식, 멀티모달 기술이 이 오래된 난제를 어디까지 풀고 있는지 살핀다. 2023년 이후 발표된 관련 연구 1만 6114건 가운데 195편을 체계적으로 분석해 자동 에세이 채점과 쓰기 평가, 구술 평가 기술의 성숙도와 한계를 검토한다. 교육뿐 아니라 채용과 HR까지 범위를 넓혀 AI가 사람의 수행을 어떻게 평가하고 의사 결정에 개입하는지도 짚는다. 높은 사람-AI 채점 일치도가 곧 인간 평가자의 퇴장을 뜻하지는 않는다. 평가의 타당성, 편향과 공정성, 설명 가능성, 생체데이터 활용, 인간 감독과 거버넌스가 함께 설계되어야 하기 때문이다. 특히 생성형 AI와 함께 쓰고 말하는 시대에는 결과물만 보고 능력을 판단하기가 더 어려워진다. 이제 평가는 정답이나 완성된 산출물보다 그 안에서 인간이 어떤 사고를 했는지 읽어야 한다. AI 평가의 핵심은 자동화가 아니라 사고의 깊이를 얼마나 타당하고 책임 있게 판단할 수 있는가에 있다.