제 I 부
영어시험에 관한 사회정치적 총론
1부에서는 영어시험에 관한 사회정치적 단면을 다양한 인식체제 안에서 다뤄보았다. 1장에서는 실용주의, 민주주의, 개인주의, 비판이론의 가치체계에서부터 영어평가에 관한 담론을 서로 대비적으로 비교했고 시험 현장에서 각각의 평가관이 갖는 철학적 의미와 한계를 모색했다. 2장은 수험자들을 시험의 권력 효과가 행사되는 대상으로 이해하면서, 그들이 인식하는 영어시험의 의미와 시험준비 과정을 푸코의 권력 담론으로 탐색한 것이다. 시험의 권력을 비관적으로만 보고 ‘나쁜 시험’을 제거시켜야 한다는 단순 논리에서 벗어나서 언어시험으로부터 유도될 수 있는 긍정적인 권력 속성도 동시에 제시했다. 3장에서는 졸업과 취업을 위해 토익 응시를 준비하고 있는 대학생들을 심층 면접하여 사회정치적 맥락에서 토익 시험준비의 의미를 살펴보았다. 4장은 ‘토플대란’을 보도한 조선일보와 동아일보의 기사가 경제주의, 공리주의 관점에서 영어시험에 관한 담론적 사건을 만든 경로를 비판적 담론분석으로 추적한 것이다. 5장은 영어교육 혹은 평가에 관한 국내 지면광고 이미지를 분석하여 원어민과 내국인 교사/학생의 권력 구도를 분석한 것이다. 6장에서는 프랑크푸르트 학파의 비판이론이 고부담영어시험이라는 언어평가 체계를 이해할 수 있는 대안적 담론으로 성립할 수 있는지 서술했다. 그리고 마지막으로 8장에서는 언어평가 연구의 외연을 넓히기 위해서 응용언어학의 학문적 성장 배경과 제한된 자기확장성을 성찰하고 미래의 복합적 학술영역으로 기대되는 비판적응용언어학의 지적 기반을 검토했다.
1부는 시험의 권력, 민주주의, 개인주의, 경제주의, 공리주의 등 실용과 비판의 관념이 다뤄지기 때문에 대부분의 글이 추상적으로 보일 수도 있다. 그러나 시험문항을 만들거나 채점을 감당하는 현실적 세목 만큼이나 그렇게 개발되고 시행되는 영어시험을 둘러싼 원리, 담론, 추상화, 인문학적 사유는 영어시험의 사회정치적 단면을 다룰 때 피할 수가 없을 것이다. 이 장에서는 시험이 정치적이란 복합 담론을 다루면서 시험의 오용을 막는 보호장치, 수험자에게 부여될 수 있는 권한, 보다 민주적인 평가의 절차에 대해 고민할 수 있는 근거 자료를 제공하고자 한다.

1장 언어평가론 탐색 : 실용주의, 민주주의, 개인주의 관점에서
I. 실용주의 vs 비판적 언어평가자

한국은 지난 수십 년 동안 언어평가 분야에서 다양한 목적의 시험을 독자적으로 개발하고 전국적인 규모에서 동형시험을 반복적으로 시행하고 시험자료를 다양한 연구주제로 보고할 만큼 경험과 전문성을 축적했다(이영식, 2006). 언어시험을 개발하기 위한 기본적인 절차와 내용은 이미 다양한 외국문헌(예: Alderson, Clapham, & Wall 1995; Bachman & Palmer 1996; Hughes, 2003; Spaan, 2006)으로부터 쉽게 구하고 있고 몇 가지 전문서적은 한국어로도 번역되어 있다. 그러나 20세기에 국제적인 규모의 언어평가 산업이 구축될 때 사상적 동력이었던 실증주의적(positivistic) 평가관이 국내 언어시험의 개발과 타당도 검증 작업에도 예외 없이 절대적인 영향력을 갖고 있다. 진학과 취업에 관한 고부담 의사결정에 언어능숙도 및 성취도에 관한 평가자료가 필요할 때마다 객관주의 인식론, 심리측정학적 방법론으로 구축된 문항유형이나 데이터 분석방법이 빈번히 사용되었다. 그리고 주관주의 인식론의 가치를 적용한 대안평가 혹은 거시담론 연구물은 상대적으로 제한적인 수준에서 보고되고 있다.
그런 반면에 해외에서 출판되고 있는 언어평가 연구물을 살펴보면 언어평가자들은 인접 학문영역과 좀 더 적극적으로 소통하면서 각기 다른 인식론 체계 위에서 다양한 연구전통을 축적시키고 있다. 그 중에서도 지난 10년 동안 특별한 주목을 받은 연구주제 두 가지를 우선적으로 소개하고자 한다. 첫째는, 시험개발부터 타당도 검증의 과정을 좀 더 유기적인 시스템 안에서 이론화시킨 실용주의 언어평가자들(Davidson & Lynch, 2002; Fulcher & Davidson, 2007)의 업적이며, 둘째는 비판이론 관점으로 시험의 사회정치적 단면을 주목하면서 시험의 오용과 권력화 사례를 조사하고 있는 비판적 언어평가자들의 활동(McNamara & Roever, 2006; Shohamy, 2001)이다. 가끔 포스트모더니즘이나 사회이론(social theory) 기반 위에서 학술활동을 하는 비판적 연구자들에 대한 재비판이 계몽주의와 공리주의 입장을 지지하는 실용주의 평가자들에 의해 이뤄진다. 그 예가 Hamp-Lyons (1997, 2000)의 상대주의 인식론에 관한 평가논문을 두고 Fulcher(1999)와 Fulcher와 Davidson(2007, p. 147)이 공적으로 비판한 것이다. 앞으로 비판이론가 혹은 비판적언어평가자는 시험 사용의 권력과 사회정치적 단면을 부각시킬 것이고, 실용주의자들은 시험의 오용 측면보다는 시험문항에서 의도한 것을 타당도 검증 과정에서 실제로 확인하려고 하는 낙관적이고 공리적인 평가관을 주로 배포시킬 것이다. 두 관점의 차이로부터 평가현장과 학계는 긴장감을 갖는 만큼 결국 상보적인 도전을 서로 주고 받을 것으로 기대된다.
여기서는 실용주의와 비판이론의 가치체계로부터 새롭게 구축되고 있는 언어평가 담론을 서로 대비적으로 비교하면서 시험 현장에서 각각의 평가관이 갖는 철학적 의미와 한계를 모색해 보고자 한다. 포스트모던적 문화상대주의 관점이 국내의 언어시험 개발과 시행 현장에 긍정적인 영향력을 제대로 줄 수 없다는 점과 개인주의(individualism)와 민주주의 사상으로부터 언어시험의 존재적 유의미성을 찾고자 한다.
여기서 언급된 각기 다른 평가관은 상호 배타적이지 않으며, 순서상 처음에 언급된 것이 이후에 언급된 관점보다 더 구식이거나 오래전에 지배적이었던 관점임을 뜻하지 않는다. 가장 앞서 언급될 심리측정학적 관점은 여전히 대부분의 시험 개발과 시행 현장에서 지배적으로 적용되고 있으며, 시험을 하나의 생태적 시스템으로 보고 실용적으로 시험을 개발하고 시행하려는 관점은 아직도 그 유용성이 다양한 현장에서 확증되지 않았고, 비판이론에 기반을 둔 사회정치학 관점은 인식론적으로 가장 오래된 학술전통을 가지고 있을 뿐, 시험개발과 시행에 관한 구체적 연구는 찾아보기 힘들기 때문이다.

II. 언어시험 개발의 다양한 접근방식

언어시험의 개발에 관한 내용과 절차는 여러 학자들에 의해 반복적으로 제시되었다. 여기서는 시험 개발과 사용의 사회정치적 맥락을 주목하는 비판적 언어평가관을 본격적으로 언급하기 전에 전통적인 시험개발 방식이라고 할 수 있는 심리측정학적 평가관, 진정성(authenticity)을 강조하는 대안적 평가관, 그리고 특정 평가관에 치우치지 않는 대신 하나의 시스템 안에서 시험을 만들고 타당화 시키는 실용주의적 평가관을 차례대로 소개하기로 한다.
시험은 언제나 사회적으로 지배적인 패러다임(Kuhn, 1962), 평가문화(Lynch & Show, 2005), 혹은 어떤 가정이나 원칙에 영향을 받지 않을 수 없다. 그 예시 중 하나가 20세기 언어평가 산업을 정량적, 결과중심, 객관주의 평가관으로 성장시키는데 커다란 영향을 준 실증주의적 패러다임이다. 시험은 객관적이어야 하며 또 객관적일 수 있다는 신념 체계를 가지고 시험문항을 만들 때도 표준화 양식으로 가급적 탈맥락적 상황 안에서 언어지식을 과학적으로 평가하고자 했다(Hamp-Lyons & Lynch, 1998). 선다형이나 진위형 평가문항이 선호되었고 그러한 문항유형은 분리식(discrete point) 시험전통에 의해 더욱 힘을 갖게 되었다. McNamara와 Roever(2006)가 지적한 것처럼 언어는 그저 심리측정학 주조판에 쏟아 부어지는 내용 수준에 불과했으며 시험의 신뢰성에 나쁜 영향을 끼치는 실증적 편향(bias)문항에 관한 연구가 활발했다.
실증주의에 반발하며 대안적인 평가관으로 전문가 활동을 하는 학자들도 적지 않았다(Brown & Hudson, 1998). 자기/동료평가, 역할극, 일기 등 실제 언어생활을 반영하면서 진정성을 높인 시험형식은 정성적이고, 주관적인, 그리고 결과만큼이나 과정을 배려한 평가라고 할 수 있다. 평가자들은 문항을 만들 때 시험장 밖에서도 실제적으로 필요하다고 추정되는 언어기술을 반영하려고 했는데, 구체적인 언어사용 맥락 안에서 화용적(pragmatic) 언어능력, 통합적이거나 의사소통적인 언어능력을 평가할 수 있는 문항유형에 관심이 많았다. 채점 척도의 주관성, 채점 신뢰도 문제, 시험 시행의 불편함 등에 관한 지적에도 불구하고 말하기능숙도를 직접 평가할 수 있는 인터뷰, 긴 담화를 읽기나 듣기로 평가하려는 시험은 미국의 ACTFL(American Council on Teaching of Foreign Languages) 등이 주도한 능숙도운동(proficiency movement) 안에서 확산되었다. 빈칸 메우기 시험(cloze test)이 통합적 평가의 문제점을 해결할 수 있는 대안으로 주목받았고(Oller, 1972), 이론적으로는 Hymes(1972)부터 Bachman과 Palmer(1996)의 모형까지 의사소통 운동이 시작된 때이기도 하다. 대안주의 평가자들은 인본주의, 구성주의, 해석학, 포스트모더니즘의 시대적 풍조를 평가활동에 반영하면서 평가의 구인을 단 하나의 실체로 이해하는 것이 아니라 복수로 구성되어 있다는 신념을 갖고 있다. 그러한 인식론에서는 시험문항을 개발할 때 수험자들로 하여금 단 하나의 정답만을 찾게끔 하는 것이 아니라 복수의 정답으로 반응할 수 있도록 하의 평가자는 각기 다른 맥락과 가치 체계 안에서 그 답의 유의미성을 이해하도록 노력해야 했다.
심리측정적 전통으로 만든 문항과 진정성을 높이기 위해 제작된 문항유형은 빈번히 대립되고 비교되었지만 최근 언어평가자들은 더 이상 두 가지 평가관에서 하나를 선택해야 한다고 고민하지 않기도 한다. 특정 평가관만을 의지해서는 시험 결과로부터 구인을 추정하기가 충분하지 않으며, 각 평가방식에는 다른 종류의 장단점이 존재하기 때문이다. 언어능력을 타당하게 평가하기 위해서 다양한 평가문항들이 조합될 수 있다(예를 들어, Buck 2001, p. 153)는 관점에서는 특정 문항유형을 고집하지 않는다. 대신에 문항 특성분류표를 사용하면서 평가문항과 해당 구인의 TLU 과업특성을 직접 비교하고, TLU에 기반을 둔 상황 진정성(situational authenticity)을 문항에 적극적으로 반영하면서 시험의 타당성을 확보해야 한다고 주장한다. Bachman과 Palmer(1996)은 목표언어사용(target language use: TLU) 체계로 문항 특성을 분류하고자 했는데, Cambridge University Press에서 출판되는 언어평가 단행본 시리즈의 대부분이 그들의 체제와 문항 특성분류표를 소개하고 있다.
그러나 Fulcher(2000, 2003), Fulcher와 Davidson(2007)은 TLU 과업특성을 문항 개발에 반영하면서 타당성을 획득할 수 있다는 논리, 즉 진정성이 곧 타당성이라는 관점을 정면으로 반박했다. 그들에 의하면, 수험자의 언어능력을 추론하고 시험문항을 타당화시키기 위한 증거자료는 TLU로부터의 진정성 특성이 아니라, 문항지침서 작업 때부터 계획하고 의도한 문항에 수험자가 예상대로 반응했는지에 관한 정보이어야 한다(Fulcher & Davidson, 2007, p. 63). 즉, 목표언어사용 과업과 비교하면서 진정성 높은 문항만을 만들려고 노력하기 보다는 지침서작업, 문항개발, 채점, 시험시행, 타당도 검증 등의 과정을 하나의 시스템으로 구성하고 어느 문항 유형이든 시스템 안에서 실용적인 가치만 있다면 사용할 수 있다는 신념을 갖는다. 시험을 만들고 타당화시키는 여러 절차에서 문항 제작과 그 문항에 대한 수험자의 반응을 체계적으로 연동시켜 타당도를 확보하자는 입장이다. 시험이 갖고 있는 존재적 속성에 연연하기 보다는 어느 시험이든 잘 만들고 잘 사용할 수 있다는 실용적 평가관이라고 할 수 있으며, 효과-주도형 시험(effect-driven testing)은 이러한 평가관을 반영한 구체적인 문항 개발 및 타당화 검증방법이다(Fulcher, 2009; Fulcher & Davidson, 2007, 2008).
시험제작과 타당화를 하나의 시스템으로 접근하게 되니 시험지침서(test specifications)로 문항의 개발과 시행의 절차를 약속하는 관행이 더욱 강조될 수밖에 없다. 시험지침서에 기반을 둔 언어평가관은 Davidson과 Lynch(2002)에 의해 꾸준히 수정 보완되었는데, 그들의 시험개발론은 어디서나 보편적이고 누구나 따라야 하는 하나의 결정론적 주장에 의존한 것이 아니었으며, 시험지침서 작업을 할 때 여러 시험의 상황과 가능성을 포괄적이면서 실용적으로 고려해야 한다고 강조했다. 언어평가 문헌에는 지침서 작업을 통한 시험개발 및 내용분석 연구들이 최근에도 꾸준히 등장하고 있다(Fulcher & Davidson, 2009; Kim et al., 2010; Walters, 2010).

III. 비판적 언어평가론의 등장과 사회정치적 담론

시험문항 개발을 아주 미숙한 수준의 과학적 접근으로 인식(Crobach, 1970)하던 때도 있었다. 그러나 앞서 살펴본 것처럼 문항개발과 데이터 관리 수준에 큰 진전이 있었기 때문에 더 이상 언어시험을 만드는 일이 비과학적이라고 과소평가하기 힘들다. 그런 반면에 시험을 과학이나 공학적 시각으로만 보지 않고 보다 거시적이고 사회정치적인 권력담론 안에서 이해하고자 하는 연구자들(Lynch, 2001; Pennycook, 2001; Shohamy, 2001; Spolsky, 1995)이 등장했다. 그들은 기존의 언어평가자 집단과 구별되기 시작했고 비판적 언어평가론은 언어평가와 비판이론 관련 문헌에서 본격적으로 소개되었다.
예를 들면, Shohamy(2001, pp. 131-132)는 정치적 도구로 사용되는 언어시험의 권력적 측면을 주목했고 Foucault(1975)와 Bourdieu(1991)의 권력담론에 기반을 둔 ‘비판적 언어평가론’ 개념을 설명했다. 비판적 언어평가론은 종래의 시험 사용 및 개발의 전통에 도전하면서 시험사용자, 특히 수험자들로부터의 적극적이고 비판적인 참여와 연대를 강조했다. McNamara(2008) 역시 언어시험의 부적절한 사용에 대한 비판적 관점에 동조하면서, 언어시험이 사회정치적 힘에 의해 오용당한 사례를 제시했다. Hamp-Lyons(1997)은 시험의 개발 및 사용에 대한 정치적 단면을 포스트모던 세계관으로 해석하면서 ‘윤리적 언어평가론(ethical language testing)’의 개념을 소개했다. 시험은 윤리적으로 민감해야 하며, 이후에 언어시험은 결국 세상 안에서 ‘책임’을 져야 한다는 논리(2000)를 발전시켰다. Norton(1997)은 시험을 사용하는 다른 여러 이해관계 집단에 비해 약자층에 속하는 수험자에 대한 배려, 특히 언어평가의 책무성(accountability)을 연구주제로 다뤄져야 한다고 강조했다.
비판적 언어평가론은 선다형, 진위형 문항유형이 수험자를 수동적으로 반응하게 하며 시험이 권력을 부여받는 역사적 사례를 고발하고 있다. 예를 들면, 선다형 문항은 하나의 정답, 즉 하나의 진실, 하나의 해석을 함축하고 있기 때문에(Shohamy, 2001, p. 24), 문항개발 과정에서 보다 다양한 평가방법이 제시되어 복수의 답변과 결과 해석을 이질적인 수험자들에게 허락해야 한다는 주장을 펼친다. 선다형 문항을 이처럼 비판하는 논리는 선다형 문항에 대한 다른 지적 전통과 뚜렷이 구분이 된다. 예를 들어, 실증주의와 심리측정학적 전통에서는 선다형 문항유형을 과학적 시험개발을 허락하게 하는 실체(entity)로 이해하며, 문항개발에 TLU의 진정성을 적극적으로 반영하려는 전통에서는 실제 언어생활의 응답 과업이 될 수 없는 선다형 문항유형과 선명한 거리를 둔다. 그리고 시험을 하나의 시스템으로 접근하는 실용적 혹은 통합적 가치판단 기준에서는 문항 유형 자체에 관한 존재적 논쟁보다는 수험자들의 능력이나 성취도를 유추하기 위해 해당 문항에 반응한 자료로부터 시험 구인을 추정하는데 어떤 실용적 도움을 주고 있는지 집중한다.
실용주의자 학자들이 다양한 시험의 제작을 시험 사용과 타당도 논의와 적절히 연결시켰다면, 비판적 언어평가자는 시험의 오용에 관한 문제점을 빠른 시간에 효과적으로 유포시키고 있다. 특히 최근의 지배적인 사회적 풍조라고 말할 수 있는 효율성 기반의 평가 패러다임을 경계하면서, Shohamy(2001, p. 139)는 원칙에 기반을 둔 평가문화가 필요하다고 강조했다. 민주적인 원칙을 준수하며 만든 시험은 반드시 돈과 시간이 더 투자되어야 하는데, 효율성과 경비 문제로 민주적인 방식이 선택되는 것이 아니라 그것이 원칙이기 때문에 시험개발 및 시행 현장에서 선택된다고 주장했다. 그러한 관점에서 보자면 선다형 지필시험으로는 도무지 평가될 수 없는 다양한 교육적 목적과 상황에 침묵하는 것도 언어평가자들이 비판적 지식인으로 책임감을 다하지 못한 부분이다.