오랫만에 무척 재미있는 책을 읽었다. 사실 얼마전까지만 해도 코퍼스가 무슨 말인지도 몰랐는데, 코퍼스를 이용한 언어연구가 어떻게 진행되고 어떤 방식으로 진행되는지 조금은 이해의 가닥이 잡힌다. 책 자체는 복잡하지 않고 배경지식이 크게 필요치 않아서 어렵지 않게 읽을 수 있을 것 같다. 코퍼스는 순 우리말로 '말뭉치'라고 하고, 이 책에 따르면 북한에서는 '대언어자료기지'라는 용어를 쓴다고 한다. 북한답게 다소 전투적 느낌이 든다.
코퍼스는 언어연구를 목적으로 한 거대한 텍스트 집합인데, 코퍼스를 이용한 언어연구는 주로 빈도 조사를 통한 계량전산 언어학에 무게가 실려있는 듯 하다. 물론 통계학적인 접근이 필요하므로 약간의 통계학도 필요하다. 물론 언어연구에 있어 사람만이 할 수 있는 부분도 있지만, 사람의 직관을 넘어서는 의문들을 통계적으로 해결하는데 코퍼스에 의한 연구가 비중을 차지할 수 있다. 일전에 '수학의 언어'라는 책의 일부를 소개하는 포스트에서 답글로 ουτις 님께서 촘스키와 코퍼스를 이용한 언어분석을 하는 집단은 대립한다고 하는 답글을 봤는데, 그때는 잘 이해가 안 되었지만 그 이유가 이 책에 설명되어 있어 이제 이해가 좀 된다.
p123-124
2. 컴퓨터 이전의 코퍼스 언어학
어떤 의미에서 촘스키(N. Chomsky) 이전의 근대 언어학은 모두가 구체적인 실제 발화 자료를 기반으로 연구하는 언어학, 즉 넓은 의미의 코퍼스 언어학이라고 할 수 있다. 구체적인 자료를 기반으로 언어를 분석하는 것은 역사언어학에서 유일한 방법이었고 구조주의의 공시 언어학에서도 일반적인 방법이었다. 촘스키의 생성문법은 직관에 입각하여 언어를 연구하는 것이 올바른 방법임을 역설하여 오늘날 언어학의 방법론에 지대한 영향을 미쳤다. 이것은 근본적으로는 이성주의적 연구 방법과 경험주의적 연구 방법의 대립과 관련된다. 즉, 코퍼스 언어학이 자연적으로 발생하는 언어 자료를 기반으로 하는 경험주의적 방법이라고 한다면, 촘스키의 방법은 만들어진 데이터와 직관을 기반으로 하는 이성주의적 방법이다. 다시 말하여, 촘스키는 이전의 코퍼스 언어학적 연구 방법을 돌이켜 이성주의적 연구 방법으로 언어 연구 방법을 전환시켰다고 볼 수 있다. 촘스키는 코퍼스를 기반으로 하는 연구방법의 한계를 다음과 같이 명시적으로 비판하였다.10)
우선, 촘스키는 언어능력(competence)과 언어수행(performance)을 구분하고, 언어학의 본질은 언어능력의 규명에 있다고 주장하였는데, 코퍼스는 언어수행의 결과이고, 이것이 언어능력을 충분히 반영하지 못한다는 것, 나아가 언어능력을 제대로 파악하게 하지 못한다는 것이다. 극단적인 예를 들자면, 실어증 환자의 발화 데이터를 기반으로 언어를 연구할 수 없다.
둘째, 언어는 무한하며 창조적이다. 따라서 유한한 코퍼스가 무한한 언어를 제대로 반영할 수 없다.
셋째, 코퍼스는 왜곡되어 있다. 촘스키의 유명한 예로 다음의 두 문장이 있다 : 'I live in New York' 대 'I live in Dayton, Ohio'. 미국의 뉴욕에 사는 사람들이 오하이오주의 데이튼이라는 작은 지역에 사는 사람들보다 훨씬 많으므로, 첫 번째 문장이 발화될 가능성이 훨씬 많고 따라서 코퍼스에 더 많이 나타날 것이다. 이것에 대해 촘스키는, 이것이 언어학적으로 무슨 의미가 있는가 하고 반문한다.
넷째, 많은 경우 코퍼스를 힘들게 뒤지지 않아도 직관은 올바른 데이터를 금방 제공해주는 것 같다. 쉽게 생각날 수 있는 예문을 찾기 위해 수고를 할 필요가 없다는 것이다.
10) 코퍼스에 대한 촘스키의 비판과 그에 대한 현대 코퍼스의 언어학의 입장에서의 반론은 MCEnery & Wilson (2001)에 상세히 나와 있다. 여기서는 그 논지를 간략히 요약하여 소개한다. |
그런데 굳이 그 반론을 읽지 않더라도 개인적인 느낌으로는 그 '수학의 언어'라는 책에서도 소개한 바가 있지만 통계적 분석도 분명 유의미할 것인데 촘스키가 너무 과소평가 한 것이 아닌가 싶기도 하다. 무어의 법칙에 따라 급변하는 컴퓨팅 환경을 너무 과소평가한 수많은 고전 지성중의 하나가 아닐까 싶다. ㅋㅋ 앞으로 각종 사전 및 언어 번역기 프로그램의 개발과 발전 여지를 생각해볼 때 코퍼스를 이용한 통계학적 언어접근은 유용할 것이라고 생각된다. 특히 번역기의 자연어 처리를 하기 위해서 동시에 등장하는 단어(not only .... but also 와 같은 것)들의 연관도를 파악하고 그에 걸맞는 해석을 컴퓨터가 할 수 있도록 구성하려면 코퍼스를 통한 통계적 접근이 유용할 것 같다는 생각이 든다. 책에서 예시한 코퍼스를 사용한 문제해결을 하나 인용해보겠다.
p228-229
한국어의 재귀사 '자기'는 한국어 문법의 기술, 특히 생성 문법적 관점에서의 기술에서 아주 중요한 위치를 차지하여 왔다.(성광수 1981, 임홍빈 1987, 서정수 1996 등) 영어의 재귀사와 구분되는 가장 큰 특징은 이 '자기'가 그 선행사를 근거리, 즉 일반적으로 동일 문장 내에서만 취하는 것이 아니라, '자기'가 속한 문장을 내포하고 있는 상위문에서도 그 선행사를 취할 수 있다는 것이다.
위 문장에서 '자기'의 선행사는 철수가 될 수도 있고 영희가 될 수도 있다. 즉, '자기'는 장거리 재귀사(long-distance reflexives)이다. 그 동안 문법학자들은 '자기'의 선행사 조건을 통사 구조, 의미역, 담화 요인 등 여러 가지 각도에서 논의하여 왔었는데, '자기'가 실제로 근거리, 장거리 선행사 중 어떤 것을 더 잘 취하느냐에 대한 논의도 있었다. 즉, 위의 문장에서 '자기'의 선행사는 철수와 영희 중 누구로 해석될 가능성이 더 많은가 하는 것이다.
이 문제에 관해서는 지금까지 두 가지 상반된 주장이 있었다. 즉, '자기'가 근거리 선행사를 더욱 잘 취한다는 주장과, 반대로 장거리 선행사를 더욱 잘 취한다는 정 반대의 주장들이다.
(중략)
용례를 조사하여 일일이 근거리/장거리 선행사를 구분하여 그 빈도를 측정한 결과가 다음과 같았다.
| ●'자기를'의 선행사 |
| 근거리 : 151 |
장거리 : 165 |
합계 : 316 | 이 결과는 우선 '자기'의 선행사가 근거리/장거리 어느쪽으로도 치우쳐 사용되지 않는다는 것을 보여 준다. 실제 숫자로는, 장거리가 미세하게 우세하나 그 차이는 의미가 없을 정도이다.(52% : 48%) 이렇게'자기'의 선행사가 근거리/장거리에 비슷한 정도로 나타날 수 있다는 사실이 재귀사 사용에 대한 상반된 견해가 있게끔 만들었다고 할 수 있다. |
중간에 통계학에 관련하여 계산이 조금 나오는데, 이 책에서 말하는 z-스코어란 정규분포(normal distribution)에서의 정규화(normalize)를 말한다. 왜 정상적인 수학 용어를 놔두고 그들만의 새로운 용어를 만들어 쓰는지는 의문이다. 마찬가지로 t-스코어란 t-분포의 값을 말한다. 책에서 소개하는 공식은 아무런 설명이 없지만 암묵적으로 단어의 등장이 이항분포(Binomial distribution)를 따른다고 가정하고 표준편차와 정규화를 계산하고 있다. 수식과 그에 대한 설명은 책에서 극히 짧게만 설명하고 있지만, 통계학의 배경 지식이 있다면 책에서 소개한 공식이 왜 그렇게 계산하는지 이해할 수 있을 것이다.
아참, 중간에 '공기(共起)'라는 단어를 쓰는데(p105) 이게 무슨 뜻인가 했더니만, 사전에 '형태(形態), 형태소, 음(音), 음소 따위가 문법적으로 벗어나지 않고 동일한 문장, 구, 단어 안에서 나타나는 것'이라고 되어 있다. 한자로도 좀 적어 주면 좋았을 걸 그랬다.
우리나라도 국가 지원으로 '세종계획'이라는 이름 하에 한국어 코퍼스를 구축하고 있다고 한다. 코퍼스 구축은 책에서 설명한 바와 같이, 각종 형태소 분석과 주석 작업이 필요하므로 간단한 작업이 아니다. 1억 어절을 목표로 하고 있다고 하는데, 잘 되고 있는지는 모르겠다. ㅋㅋ
아무튼 코퍼스 언어학에 관심이 있다면 물론이거니와, 특히 관심이 있지 않아도 흥미롭게 읽을 수 있을 책인 것 같다. 중간에 html을 비롯한 마크업 언어에 관한 설명은 진부하니 읽지않고 지나가는 편이 좋을 것 같다. 그 부분만 빼면 코퍼스 기반을 통한 언어연구가 어떻게 이루어지는지 살펴볼 수 있을 것이다.
|