01 도입
언어평가(역주: 원문에 빈번하게 등장하는 ‘language testing’이 하나의 학문영역, 또는 평가행위의 총합으로 이해될 경우, ‘언어시험’이 아닌 ‘언어평가’로 번역된다. 학계의 관행상 언어시험에 관한 행위를 집합적으로 규정할 때 ‘language testing’라고 부르는데 이때 ‘언어시험’보다는 ‘언어평가’라는 번역어가 보다 적절하다)가 하나의 사회적 관행으로서는 오랜 역사를 가지고 있지만 이론적인 근거를 갖추고 자기성찰적인 제도적 관행을 가진 역사는 비교적 짧은 편이다. 언어평가가 20세기 후반에 제도화될 때, 응용언어학과 심리측정학 사이에서 하나의 학제로 구성하고자 하는 시도가 있었다. 심리측정학은 측정의 규칙을 제시하면서 규율의 기본이 되었고, 언어란 것은 이미 존재하는 심리측정학의 틀 안에 부어졌다. 심리측정학은 언어평가를 위한 기본적인 토대로 아직 남아 있다. 응용언어학보다 더 오래된 분야인 심리학의 엄밀한 방법에 기반을 두고, 또 이에 준하는 보다 폭넓은 연구 토대와 함께 주목을 받고 있다. 그러나 언어평가는 심리측정학과 결합하면서 (아마도 의식적으로) 사회적 단면을 모호하게 가려버렸다. 심리측정학이 평가의 사회적 맥락을 의식하지 않는다는 뜻은 아니다. 그러나 그 분야의 주류 작업은 보다 넓은 문제에 대해 체계적인 연구가 없이 시험의 도구성에 크게 주목한다. 사실 사회적 단면에 주목한 편파성(bias)과 차별기능 문항(differential item functioning)에 관한 대부분의 심리측정학 연구를 보면 여전히 시험을 개선하기 위한 이상을 좇고 있으며 그런 결과 그들은 알고자 하는 구인을 보다 정확하고 순수하게 측정한다.
물론 시험의 시행에서 심리측정학이 그 한계점에도 불구하고 사회적으로 책임감을 있는 언어시험을 만들고 유지시킨 공헌을 인정할 필요가 있다. 근대 사회들이 필수적으로 시험을 사용하며 좋은 시험을 만든다는 기본적인 규칙에 충실한 것은 평가의 질과 추론된 결론을 잘 변호하는데 꼭 필요하다. 심리측정학과 측정이론의 엄밀한 처방은 본래 편향과 원치 않는 사회적 영향력을 줄이는데 도움을 준다. 그러나 이것이 가장 중요한 원리임에도 불구하고 심리측정학적으로 좋은 시험이 반드시 사회적으로 좋은 시험은 아니다. 이 둘의 상관성은 사실 없다. 어떤 평가든 큰 영향을 끼치고 예상치 못한 사회적 결과를 가져올 수 있다. 이 책에서는 이러한 사회적 결과들과 그것들에 관한 체계적인 연구의 결핍이 우리의 관심사이다. 그렇다고 해서 이것은 새로운 것은 아니다. 언어평가에 관한 Spolsky(1995)의 설득력 있는 지적에 따르면 19세기 근대 시험은 출현과 함께 사회적이고 교육적인 엄밀한 비판은 늘 있었다(Madaus & Kellaghan, 1992). 이러한 비판은 1950년대 심리측정학의 위세를 따라가면서 분명 언어평가계 내부에서 잠잠해졌는데 이 책은 한편으로는 그러한 주제를 다시 다루고 있는 것이다.
평가에서 사회적 단면의 존재는 일반적인 인지능력을 측정하는 곳에서보다 언어평가 분야에서 더 두드러지게 나타난다. 왜냐하면 언어는 사회적 도구이며 이것을 사회적 맥락 밖에서 측정한다면 응용언어학 내부에서 점차 사회적 모형을 인정하는 것과 맞지 않기 때문이다. 언어시험은 오랫동안 언어의 사회적 사용 단면을 무시했고 문법과 어휘 지식의 분리된 조각을 측정하는 전통적인 심리측정학 방법을 따랐다. 그러나 구술능숙도 인터뷰(Brown, 2005; Young & He, 1998), 수행평가(McNamara, 1996)와 화용능력 평가(Liu, 2006; Roever, 2005)의 최근 연구에서 나타난 것처럼, 제2언어 교육에서 의사소통의 패러다임이 부각되면서 사회적 맥락에서 언어를 사용하는 능력의 측정이 점차 중요하게 되었다. 그러나 여기서도 개인적이고 인지적인 심리측정학적 편파성이 평가의 매우 중요한 문제를 흐리게 하거나 방해하고 있다.
언어사용의 사회적 측면에 대해 시험을 치르게 하는 것은 언어평가의 사회적 단면 중 한 부분일 뿐이다. 더 폭넓게 고려해야 할 점은 사회 안에서 언어평가가 갖는 역할과 효과이다. 역사를 통해 나타난 가장 흔한 언어시험의 기능과 결과 중 하나는 골라내거나 문지기 도구로서의 사용이다. 더 권력적인 집단에 의해 덜 권력적인 집단에 부과되는 시험들은, 시험에 떨어지면 즉각적인 살인으로 이어지는 성경 속 쉬볼렛 시험부터 승진, 고용, 이민, 시민권 취득 또는 망명에 관한 예비조건을 구성하는 근대 언어시험까지, 혹독하고, 인생을 바꾸는, 그리고 적지 않게도 수험자들의 인생을 끝내는 결과를 발생시키곤 한다. 비록 실패의 결과가 근대 시험에서는 덜 즉각적이고, 덜 치명적이지만 (아마도 망명자들에 관한 건 제외하고), 그럼에도 불구하고 여전히 권력을 가진 수험자들이 자신의 신원을 규정하는 고부담 상황이다. 시험을 통과한다는 의미는 그들이 공무원이 되거나, 네덜란드 시민권을 가지면서 자신의 신원에 새로운 단면을 추가하는 것이다. 비록 근대의 언어시험들이 칼을 휘두르는 군사에 의해서가 아니라, 좋은 조명의 카펫이 깔린 시험장에서 정돈되고, 약속되고, 합법적인 수준에서 빈번히 실행된다고 하지만 그들은 여전히 쉬볼렛 시험에서만큼 정치적 과정과 가치 결정의 결과를 허락한다. 언어능숙도의 어떤 표준이 누군가에게 시민권을 허락하거나 다른 나라에서 약을 조제할 수 있게 하는가? 그러한 곳에서 시험을 통해 정책을 실행할 때 더 치밀한 사회적, 정치적 가치가 중요한 것인가? 사회적 가치와 태도는 근본적으로 시험의 사용을 결정한다.
언어평가의 결과가 특별하고도 가끔 고통스럽게 존재하는 또 다른 분야는 교육시스템이다. 정부 주도의 성취기준과 그것으로부터 제공되는 시험도구는 배우는 것에 큰 영향을 주며 시스템 도처에 반향을 일으키는 영향력을 갖고 있다. 이것은 19세기에 국가가 지원하는 교육 안에서 이런 관행들이 도입되면서 인식되었고, 최소한 15세기에도 있었던 더 오래된 전통적 관심을 반영한 문제이기도 했다. 유럽 각지에 언어시험과 교육을 조종하는 공통유럽체제(Common European Framework)부터 미국의 낙오아동방지(No Child Left Behind)법까지 제2언어 인구에 대한 특별한 강조와 다양한 이해 관계자들에 대한 심각한 결과들과 함께, 교육시스템에서의 평가는 계속적인 결과를 유도하고 사회적인 효과에 관한 문제를 제기한다. 그리고 그 중 대부분은 지금 시대에서 거의 다뤄지지 않은 주제로 남아있다.

1.1 이 책의 구성

우리의 주장은 2장의 타당도 이론에 관한 최근 논점 안에서 정리된다. 우리는 Messick(1989)의 타당도와 타당화의 관점, 시험의 구인 타당도를 찬성하거나 반대하는 종합적인 주장의 일부로서 시험사용의 사회적 효과를 수립한 시험결과에 관한 개념화를 정리한다. 그리고 그의 계승자에 끼친 Messick의 영향력을 참고한다. Mislevy의 영향력 있는 근거자료(evidence) 중심의 디자인 체제(Mislevy, Steinberg & Almond, 2002, 2003)는 Messick 방식을 실행하지만 시험 만들기에 더 집중하고 타당도의 결과적 단면은 무시한다. 이와 대조적으로 Kane의 작업(Kane, 1992, 2001; Kane, Crooks, & Cohen, 1999)을 보면 시험 타당도의 논의 한가운데에 시험성적에 기반을 둔 결정을 배치시킨다. 다음으로 우리는 언어평가에서의 타당도 이론 중에서 특히 Bachman의 작업(Bachman, 1990, 2004; Bachman & Palmer, 1996)을 다룬다. 거기엔 Messick과 그보다 최근인 Kane의 영향력이 보다 두드러진다. 창조적이고 섬세하기도 한 그들의 토론에도 불구하고 우리는 시험의 사회적 역할과 기능이 개념적으로 부적절하게 옮겨진 점을 주장할 것이다.
3장에서 우리는 언어능력 평가의 사회적 단면을 탐색해 본다. 여기서 우리의 주장은 다음과 같다. 심리측정학과 언어학에서부터 개인주의적이고 인지적인 편향치가 잘 발견된다는 것은 40년이나 지속된 의사소통 운동에도 불구하고 여전히 이 분야가 언어사용의 사회적 단면 측정을 개념화 또는 조작화하기는 힘들다는 것을 뜻한다. 이것은 실제적인 의사소통 기술을 평가할 때부터 인식되곤 했던 문제였다. 우리는 제2언어 화용능력 시험과 구술능숙도 인터뷰를 통해 이와 같은 우리의 주장을 지지한다. 이 두 측정치는 흥미롭게도 대조를 이룬다. 즉, 화용능력 시험은 거의 사용되지 않는다. 그러나 이론적인 기반은 여러 토론에서 다뤄지는 주제이다. 반면 구술능숙도 측정은 빈번하게 사용된다. 그러나 비교적 성찰적 논의가 없는 편이다. 단지 제2언어 화용능력의 평가행위를 위해 네 가지 커다란 측정치가 있는데 모두 목표언어는 영어에 집중되어 있다. 이 도구들은 영어를 배우는 중국인 학습자(Liu, 2006)나 일본인 학습자(Hudson, Detmer, & Brown, 1995)의 발화행위나 함축의미(Bouton, 1994)를 측정하는데, 단지 이 분야에서 하나의 검사가 일상, 함축의미, 발화행위를 모두 감당하고 있다(Roever, 2005). 화용능력 검사는 시행과 채점의 측면에서 시험이 현실적으로 유지되어야 하면서 적절한 상황을 제공해야 할 필요가 있기 때문에 쉽지 않다. 또한 전통적인 도구인 담화완성시험은 문제점을 드러냈는데 발화행위를 일관성 있는 담화적 맥락에서 벗어나게 하거나 시험의 목적을 위해 그것을 세분화하는 것은 심각한 문제이다. 구술능숙도 인터뷰는 면대면 상호작용의 영역 안에서 시행되는데 이것은 진지한 연구나 이론화 작업, 특히 상호작용과 대화분석 분야의 연구 주제이기도 했다. 이 연구에서 발견한 핵심 중 하나는 언어수행이 단지 개인의 언어능력으로부터 예상되는 것이라고 볼 수 없으며, 내재적이면서 사회적이고 협력적으로 구성된다는 점이다. 이것은 언어수행의 데이터로부터는 개인의 언어능력을 읽어낼 수 없음을 뜻한다. “청자가 화자의 과정으로 의도하거나 의도되는 것을 포함”할 것을 인식해야 한다고 Schegloff(1995, 192쪽)는 주장했다. 무엇이 개별화된 인지적 특성으로 이해되는지 측정하고자 하는 과제에 대해 이러한 입장이 갖는 시사점은 여전히 탐색 중이거나 상세히 연구되고 있다. 구체적으로는 이러한 주제를 경험적으로(empirically) 탐색하는 연구들이 현재 진행 중에 있다. 예를 들어 Brown(2003, 2005)의 연구는 수험자 개인에게 부여된 점수에서 면접관과 채점자의 영향을 지적했는데 그것은 이미 1974년 워싱턴의 심포지움에서 Lado에 의해서 원론적으로 제기된(Jones & Spolsky, 1975) 문제이기도 했다.
4장에서는 전통적인 심리측정학 검사가 평가의 사회적 맥락의 단면들을 다루는 방법에 대해 토론한다. 이러한 전통 안에서 이 문제는 사회적 형평성 중 하나로 개념화되며 특정 사회 계층, 특히 소수자 집단으로부터 수험자들에게 유리하거나 혹은 불리한 편파성을 제거하기 위해 집중한 문제이기도 하다. 어떤 집단에 대해 차별적으로 작용하는 문항을 찾아내기 위해서 심리측정학적 속성의 문항 특성을 탐구한다. 다양한 통계적 기술이 차용되어, 비모수적 교차분석부터 문항반응이론에 기반을 둔 복잡한 모형 비교에 이르는 차별적 문항기능을 밝힌다. 일반화 가능도 이론(generalizability theory)과 다면적 Rasch 측정은 시험에서 수험자의 배경 변수가 원치 않는 영향을 끼치는지 발견하게 하며 여기서는 몇 가지 방법을 제시한다. 그러나 이런 방법들은 문항 혹은 시험의 편파성을 찾는데 도움을 주긴 하지만 원치 않는 문항과 시험이 그렇게 기능하는 이유에 대해서는 충분한 통찰력을 주지 못한다. 우리는 이 부분을 전통적인 차별기능 문항과 편파성의 결점으로 놓고 토론할 것이며, 이렇게 분석한 결정의 일부를 비판적으로 검토하기로 한다.
편향을 피하고자 하는 것이 평가에서 하나의 사회적 단면을 인정하는 것이긴 하지만 여전히 이것은 완전하게 심리측정학적 영역에서 구축된 것이다. 5장에서는 시험의 사회적 속성을 다루는데 다른 식의 전통적 방법, 즉 형평성 검토의 절차와 윤리규범의 홍보에 관한 형식을 고려하기로 한다. 형평성 검토는 시험개발의 과정 중에 편파적일 수 있는 문항을 찾아서 제거하는 목적으로 시험개발자들 일부가 작업하는 하나의 공식적인 절차이다. 그러나 우리가 보여주는 것처럼 형평성 검토는 시험개발자들에 대한 사회적 압력에 대한 반응이기도 하고, 시험 내용이 논쟁이 되지 않게끔 하면서 시험 점수가 폭넓게 인정받는 것을 확인하는 기능도 있다. 마찬가지로 윤리규범은 시험에 관한 전문직 종사자들이 이해당사자들에게 투명함을 제시하고 그들에게 시험 전문직의 윤리적 행동기준에 관한 책무를 재확인하는 방편이 된다. 비록 윤리규범의 위반에 대한 효과적인 제재는 없지만 그러한 규범은 윤리적 결정을 보호하고 이해관계자들이 전문가의 행동기준을 위반하도록 행동하는 압력으로부터 평가자를 보호해 주는데 유용하다.
6장에서는 지경을 넓혀서 언어평가가 어떻게 특정한 사회적 정체성을 구축하고 방어하는지 토론한다. 언어는 사회적 집단의 소속감과 연동되는 것이기 때문에 언어평가는 수험자를 구분하는데 사용될 수 있다. 그리고 잠재되어 있거나 이미 나타나고 있는 집단 간의 갈등 위에서 이러한 구별의 동기가 빈번하게 생기며, 그러한 결과가 자주 나타난다. 우리는 고대 역사부터 현재까지 이러한 사회적 관례의 다양한 예시를 보여준다. 거기엔 성경에 등장하는 쉬볼렛 시험, 1651년의 크롬웰과 찰스 2세 사이의 우스터(Worcester) 전쟁, 1937년의 도미니카 공화국의 아이티(Haitians) 대학살, 1950년대의 동성연애자 신병을 파악하기(그리고 제외시키기) 위한 캐나다 경찰의 프룻 머신(fruit machine)을 포함하고 있다. 우리는 시민권과 이민의 상황에서 언어시험의 근대적 역할에 관해 구체적으로 논의하기로 한다. 망명신청자의 요청을 판정하고, 법률적인 이민을 통제하며, 어떤 사회에서 시민으로의 완전한 자격을 인정하거나 거부하는 데 언어시험들이 사용된다. 우리는 이러한 토론을 통해서 근대 사회에서 주관성의 도구로서 언어시험이 사용되는 것을 고찰한다.
7장에서는 교육 현장에 시험들이 만연되어 있다는 것을 보기로 한다. 표준은 오랫동안 교육 시스템을 통해 사회적 가치를 강요하기 위해 사용되었다. 그리고 시험들은 그러한 표준을 시행하고 운영하는 도구들인 셈이다.