수학의 쓰임새는 사람들의 상상을 초월한다. 심지어 우리 생활 속에도 항상 존재한다고 말할 수 있다. 원자력과 우주 비행처럼 상대적으로 생활과 연관성이 떨어지는 분야의 거대한 수학 지식을 언급하지 않더라도, 우리가 매일 사용하는 제품과 기술 뒤에는 이를 지탱하는 수학적 기초가 존재한다. 20여 년간 과학 분야에 종사한 사람으로서 나는 아직도 실제 업무에서 문제 해결에 쓰이는 수학 언어의 마력에 늘 감탄한다.
― 19쪽, 「서문」

자연어는 생성될 때부터 문맥 관련 정보를 표현하고 전달하는 방식으로 발전했기 때문에 컴퓨터로 자연어를 처리하려면 자연어의 문맥 특성에 따른 수학 모델을 만들어야 한다는 문제가 기본적으로 존재한다는 점을 앞에서 계속 강조했다. 이 수학 모델이 자연어 처리에서 흔히 말하는 통계언어 모델(statistical language model)이다. 통계언어 모델은 현재 모든 자연어 처리의 기초이며 기계번역, 음성인식, 인쇄체 또는 필기체 인식, 철자 교정, 국어 입력 및 문헌 조회 등 여러 분야에 응용된다.
― 63쪽, 「3장_ 통계언어 모델」

음성인식이란 화자가 표현하고자 하는 뜻을 청자가 추측하는 것이다. 이것은 통신에서 수신 측이 수신하는 신호를 근거로 송신 측이 전송해온 정보를 분석, 이해, 복원하는 것과 같다. 우리가 평소 말을 할 때는 머리가 곧 정보원이다. 목구멍(성대), 공기는 전선과 광케이블 같은 채널이다. 청중의 귀는 수신기이고, 들리는 소리는 전송해온 신호다. 음향 신호로 화자의 뜻을 추측하는 것이 바로 음성인식이다. 수신 측이 컴퓨터라면 음성 자동 인식을 해야 한다.
자연어 처리의 여러 응용 분야도 마찬가지로 이해할 수 있다. 중국어를 영어로 번역할 때 화자는 중국어로 말하고 채널 전송 코딩 방식이 영어인 경우, 컴퓨터로 전달받은 영어 정보를 근거로 화자의 중국어 의미를 추측한다면, 이것이 바로 기계번역이다. 마찬가지로 틀린 철자가 있는 문구를 근거로 화자가 전하려는 정확한 뜻을 추측하려 한다면, 이것은 자동 오류 정정이다.
― 95쪽, 「5장_ 은닉 마르코프 모델」

정보 안에 있는 정보량은 그 불확실성과 직접적 관련이 있다. 예를 들어 매우 불확실한 일이나 전혀 모르는 일을 이해하려면 많은 정보를 파악해야 한다. 반대로 이미 많이 알고 있는 일은 정보가 그다지 많지 않아도 쉽게 이해할 수 있다. 이런 각도에서 보면 정보량은 불확실성의 크기와 같다고 볼 수 있다.
그러면 정보량의 단위를 어떻게 계량화할 수 있을까? 예를 하나 들어보자. 2014년에 월드컵이 열렸고, 누가 우승할지가 모두의 관심사였다. 이미 끝난 월드컵을 못 본 내가 결과를 아는 한 관중에게 ‘어느 팀이 우승했어요?’라고 묻는다고 가정해보자. 그 사람은 바로 알려주지 않고 내게 맞혀보라며 한 번 추측할 때마다 1위안(元)을 내야 맞았는지 틀렸는지를 알려준다고 한다. 나는 얼마를 털려야 우승팀을 알 수 있을까? 나는 축구팀에 1에서 32까지 번호를 붙인 다음 묻는다. “우승팀이 1번에서 16번 중에 있나요?” 그가 맞았다고 하면 이어서 묻는다. “우승팀이 1번에서 8번 중에 있나요?” 그가 틀렸다고 하면 나는 자연히 우승팀이 9번에서 16번 중에 있음을 알게 된다. 이렇게 다섯 번만 하면 어느 팀이 우승했는지 알 수 있다. 따라서 누가 월드컵 우승팀인가를 밝혀내는 정보의 정보량 가치는 5위안에 불과하다.
― 107쪽, 「6장_ 정보량의 단위와 역할」

구글의 혁명적 발명은 ‘페이지랭크(pagerank)’라고 하는 웹페이지 순위 정렬 알고리즘이라는 사실을 모두 알 것이다. 이 기술 덕분에 1998년 전후 검색의 관련성이 질적으로 도약해, 그전에 정렬이 효과적이지 않았던 웹페이지 검색 결과의 문제를 원만히 해결했다. 이로써 사람들은 구글 검색 품질이 좋고, 이 알고리즘을 통해 회사 전체가 성공했다고 생각한다. 물론 이 알고리즘의 역할을 조금 과장한 경향이 있는 평가다.
제일 먼저 인터넷의 많은 웹사이트에 순서를 매기려고 시도한 것은 구글이 아니라 야후다. 야후 창업자 제리 양(Jerry Yang)과 데이비드 파일로(David Filo)는 맨 처음에 목록 분류 방식으로 사용자가 인터넷을 통해 정보를 검색하게 했다(이에 관한 역사는 필자의 책 《흐름의 정점》을 참고하기 바란다). 그러나 당시 컴퓨터 저장 용량과 속도의 한계 때문에 야후를 비롯한 다른 검색엔진들엔 같은 문제가 존재했다. 수록된 웹페이지가 너무 적으며, 웹페이지에서 자주 보이는 내용과 관련이 있고 실제로 사용되는 단어만 색인이 가능하다는 것이었다. 당시 사용자는 관련 정보를 찾기가 어려웠다. 1999년 이전에는 논문을 한 편 찾으려면 검색엔진을 여러 개 바꿔야 했던 기억이 난다.
― 158쪽, 「10장_ 페이지랭크 - 구글의 민주 표결식 웹페이지 정렬 기술」에서

스팸 방지에서 사용하는 또 하나의 툴은 그래프 이론이다. 그래프에 몇몇 노드가 둘씩 연결되어 있는 경우를 클리크(clique)라고 한다. 스팸 웹사이트는 자신의 랭킹을 높이려면 서로 링크되어야 한다. 따라서 인터넷이라는 큰 그래프에서 클리크들을 형성한다. 그래프 이론에는 전문적으로 클리크를 발견하는 방법이 있어 스팸 방지에 바로 응용할 수 있다. 여기에서 다시 한번 수학의 역할을 살필 수 있다. ‘술’의 차원에선 방법이 많다. 스팸을 겨냥한 자바스크립트1 페이지 이동의 경우, 해당 자바스크립트 내용만 분석하면 된다.
마지막으로 강조할 것이 몇 가지 있다. 첫째, 구글의 스팸 방지 및 웹사이트 기존 랭킹 복원 과정은 휴폰 잡음 제거와 마찬가지로 자동이다(개인의 호불호가 개입되지 않는다). 앞쪽에 놓이고 싶은 웹사이트는 내용을 잘 갖추고 스팸 사이트들과 확실히 선을 그어야 한다. 둘째, 검색엔진 최적화 프로그램과 다른 사람을 도와 스팸을 제작하는 사람들은 대부분 시장점유율이 최대인 검색엔진 알고리즘을 겨냥해 스팸을 만든다. 스팸 사이트 제작도 비용이 들기 때문에 시장점유율이 5% 미만인 엔진을 상대로 스팸 사이트를 만들면 경제적으로 도저히 수지가 맞지 않는다. 따라서 소규모 검색엔진은 스팸 사이트는 적지만, 그렇다고 스팸 방지 기술이 약하다는 건 아니며, 스팸 행위를 하는 사람이 적을 뿐이다.
― 247쪽, 「18장_ 반짝인다고 다 금은 아니다 - 검색엔진 스팸 방지와 검색 결과의 권위성 문제」