빅데이터 분석은 최근 기업경영 혁신을 위해 많이 사용되는 분석법이다. 그런데 빅데이터가 인문학적 연구에서도 영향을 줄 수 있을까? 답은 '예스'이다. 이 책의 저자들은 7년에 걸친 노력 끝에 ‘구글 엔그램 뷰어(Google ngram viewer)’를 개발했다. 구글이 디지털화한 책들 가운데 800만 권을 추려, 그 속의 8,000억 개 단어가 사용된 빈도의 추이를 그래프로 보여주는 프로그램이다. 망원경이나 현미경이 우리가 볼 수 없었던 것들을 새롭게 볼 기회를 제공했듯이 빅데이터 분석은 인류 역사에 있어서 지금까지 볼 수 없었던 새로운 단면들을 보여준다.

저자들은 엔그램 뷰어와 관련된 다양한 스토리를 설명한다. 단어와 말은 시간이 지남에 따라 변하기 마련이다. 영어의 불규칙 동사변화(예: spilt/spielled)의 양상을 분석한다. 왜 어떤 동사는 불규칙변화를 하게 되는가? 불규칙동사가 규칙동사로 변하는 경향이 있는데 얼마나 자주 일어나고 있을까? 저자들의 궁금증은 끝없이 이어진다. 역사상 어떤 사람들이 유명인사인가? 명성을 원한다면 어떤 직업이 유리할까? '청바지'란 단어는 언제부터 사람들이 많이 쓰기 시작했는가? 앤그램뷰어에 나타난 우아한 그래프를 통해 저자들은 이런 양상들을 분석해 보여준다.

엔그램뷰어 용도는 아직 호기심 만족 수준에 그치는 것 같다. 또한 빅데이터 자료의 부정형성에 기인하는 분석오류도 포함할 수 있겠다. 분석대상도 발간된 책의 20%에만 기반을 두고 있다. 이런 한계에도 불구하고 과연 데이터 분석이 인문학 분야에서도 의미있는 정보를 제공할 수 있을 것인가? 아직 이것이 어디로 갈지는 정확히 아는 사람은 아무도 없다. 하지만 과학과 인문학이 같은 방향으로 갈 수 있다는 사실을 말해준다는 점에 의의가 있는 것 같다. 갈릴레오의 망원경이 지동설의 원리를 찾아내었듯이 엔그램뷰어와 같은 빅데이터 분석이 인류역사의 단면들을 다양한 측면에서 보여줄 수 있을 지 향후 행보가 궁금해진다. 

사람들이 언제부터 미합중국을 단수형으로 부르기 시작했는지 보여주는 도표를 인용했던 어느 책에서 이 책을 추천하길래 읽어 보았는데, 개인적으로 빅데이터를 상업적으로 다루는 엔지니어 입장에서는 아쉬움이 남는 내용들이었다. 이 책을 쭉 읽어 내려가면서 언어에 관심이 많은 우리 첫째 아이와 대화를 나누었는데, 결론은 이 책에 흥미로운 이야기가 담겨 있기는 하지만 "그래서 어쩌라고?"라는 말이 나온다는 것이었다. 이 책의 맨 뒤에 책 내용을 바탕으로 국내 상황에 대한 특별좌담을 수행한 내용이 담겨 있는데, 빅데이터 분야 전문가로 유명한 송길영 다음소프트 부사장이 한 말이 내가 가진 견해와 맞아 떨어졌다. 이 책에서 하는 이야기가 새롭고 유의미하긴 하지만 만약 일반 대중의 먹고, 사랑하고, 자는 일상의 변화를 보려는 목적이라면 한계가 있다는 말이다. 물론 그 좌담에서 한국 인문학계에서 빅데이터를 활용한 연구는 개척단계로 구축되어 있는 데이터가 너무 부족하다는 것, 데이터를 선택하고 가공할 수 있는 능력, 거기에 인문학적 통찰을 더해 무엇을 말할 것인가를 판단할 수 있는 능력이 중요하다는 사실을 언급하고 있기는 하다.

이 책의 저자 두 명은 각각 하버드대, MIT 출신으로 "30세 이하 주목할만한 30인"과 "전세계 35세 이하 혁신가 탑 35"에 이름을 올린 젊은 수재들이라 한다. 그래서인지 책 내용이 매우 현학적이면서도 유머가 가득하다. 이들은 3000만권 이상의 책을 디지털화하여 앤그램 뷰어와 함께 제공하고 있는 구글의 데이터를 사용해 특정 단어들과 이름들이 긴 시간 동안 얼마나 자주 언급되는지 그 도표를 분석하였다. 구글이 제공하는 웹사이트(books.google.com/ngrams)에 들어가 간단히 키워드 검색을 통해 저자들과 똑같은 일을 할 수 있다. 불행히도 현재시점에서 한국어 베이스는 제공하지 않는다. 엔그램을 사용해 다양한 단어들을 비교 분석한 결과, 단어의 순위와 빈도 사이에는 반비례가 성립한다는 지프의 법칙을 찾아낼 수 있었다고 한다. 만약 어떤 단어의 순위를 숫자로 나타냈을 때 다른 단어의 순위보다 열 배 크다면 그것의 빈도는 다른 단어의 10분의 1이란 말이다. 수세기 동안 우리가 기대하는 것보다 여러 책들에 등장하는 단어들의 수가 적은 편이라는 말이다. 그런데 거의 모든 불규칙동사는 빈도가 매우 높다고 한다. 

동사 가운데서 불규칙동사는 겨우 3퍼센트에 불과하지만 가장 빈도가 높은 열 개의 동사는 모두 불규칙 동사라는 것이다. 이는 지프의 법칙에 반하는 사례라 한다. 또한 불규칙 동사들이 자연선택에 의한 진화와 똑같은 과정을 거친다는 사실도 발견할 수 있다고 한다. 불규칙 동사들이 반감기는 그것의 빈도의 제곱근과 같았다면서, 다시 말해 빈도가 100분의 1인 어떤 불규칙동사는 열 배 빨리 규칙화될 것이라는 말이다. 현재 추세가 계속된다면 2500년경에는 불규칙동사 177개 가운데 83개만이 불규칙으로 남을 것이라 전망하기도 했다. 엔그램에 사람 이름을 키워드로 넣게 되면 그들이 얼마나 빨리 명성을 얻고, 또 그 명성이 얼마만큼 이어지는지 눈으로 볼 수 있다. 여러 유명인사들로 검색해본 결과, 데뷔, 기하급수적 성장, 절정, 점진적 쇠락의 형태는 거의 동일했으며, 모든 집단이 대략 태어난 지 4분의 3세기쯤에 정점에 도달했다고 언급하고 있다. 하지만 데뷔 연령은 점차 빨라지며, 명성이 높아지는 속도도 빨라지고 있다고 한다. 1800년대 사람들의 데뷔 연령은 43세였지만, 20세기 중반부터는 29세로 낮아졌다는 말이다. 

또한 1800년대 사람들은 데뷔 후 명성이 두 배가 되는데 약 8년이 걸렸지만, 1950년생 집단은 3년 밖에 걸리지 않았다고 한다. 그리고 이 데이터와 직업 데이터를 같이 보면 또 재미있는 정보를 얻을 수 있다고 한다. 직업으로 따지면 배우들은 20대말이나 30대 초에 유명해지고 작가들은 30대 후반에 유명해지며, 정치인들은 대체로 40대, 50대, 심지어 60대까지도 별로 유명하지 않다가 갑자기 명성을 얻게 된다고 한다. 과학자들은 60대에 명성을 얻고, 수학자의 경우 명성을 얻을 때쯤이면 이미 죽은 뒤라고 한다. 그 밖에도 이 책에서는 나치 치하의 탄압, 스탈린의 정적 탄압, 미국의 국내 공산주의 타도 운동, 중국 천안문 사건과 같이 국가권력이 벌인 검열 운동의 효과에 관한 통찰력을 제공해주는 자료도 보여주고 있으며, 집단기억이 개인기억과 비슷한 특징을 가진다는 사실도 증명한다. 특히 집단적인 기억이 최고치에 비해 절반으로 떨어지는 시기가 갈수록 짧아지고 집단이 학습에 소요되는 시간도 점점 더 빨라지고 있다고 한다. 물론 왜 그런지에 대해서는 정확히 알지 못한다고 첨언하고 있다.

이 책은 결국 디지털 정보가 점점 중요해지는 사회에서 기계가 우리의 마음을 비롯해 모든 것을 기록하여 디지털화 시키는 상황에 까지 도달할 수 있다는 점을 지적한다. 이게 사회적 이슈가 될 수도 있지만, 인문학을 연구하는 이들에게는 새로운 지평이 열리는 것과 같다고 말한다. 즉, 인류가 벌인 활동에 관한 역사적 기록의 창조 및 보존과 연관된 빅데이터 혁명의 결과물은 우리가 우리 자신을 바라보는 방법을 바꿀 것이란 말이다. 또 우리 사회의 본질을 더 효율적으로 탐색할 수 있는 관찰 도구를 창조하게 해줄 것이며, 결국 빅데이터는 인문학을 바꾸고, 사회과학을 변형시키고, 상업 세계와 학계 사이의 관계를 재조정할 것이라고 말한다. 전반적으로 이 책에서 보여주고 있는 것은 구글에서 제공하는 빅데이터 도구들을 어떻게 인문학 분야에 활용할 수 있는지 그 아이디어를 제공해주는데 의의가 있다고 볼 수 있다. 1차적으로 우리 인간만이 가지고 있다는 언어분야의 연구에 이 정보들을 활용할 수 있다는 것이다. 물론 그 데이터 분석의 통찰력은 언어학 연구자들이 제시해야 하겠지만 말이다.

독서를 한 구력을 믿고 어지간하면 촉만 내세워 책을 읽는 편이다. 어떤 책인지 자세하게 알아볼 생각없이 느낌이 오면 읽는다. ＜빅데이터 인문학:진격의 서막＞은 그다지 촉이 오진 않았지만 계속 눈에 밟혔다. 가장 큰 이유는 책에서 커다란 데이터를 뽑아 세상을 바라본다는 느낌에 워낙 책을 읽는 편인 나에게는 도서관에 갈때마다 끊임없이 유혹했다. 결국에는 에이 모르겠다는 심정으로 읽고나 보자며 선택했다.

아쉽게도 우리가 갖는 첫 느낌은 맞을 때가 많다. 느낌으로 어떤 판단을 내리면 안 된다. 그나마 느낌만으로 선택한 판단이 맞을 때가 있는데 그런 경우 대다수가 그 분야에서 오래도록 경험을 쌓을 경우다. 오랜 경험으로 쌓인 누적된 경험이 남들보다 발달된 감각으로 내린 판단이 좋은 경우가 많다. 그래도 유혹에 흔들리는 사람이다. 그렇게 선택한 책인데 딱히 재미는 없었다. 더구나 책에서 무엇을 이야기하려고 하는지 잘 이해가 되지 않았다.

어떤 사람은 1시간만에 책 한 권을 뚝딱 읽는다. 그래도 그 책 내용을 어지간하게 파악하고 있다. 나도 충분히 그럴 수 있다. 어차피 책 한 권에 담긴 내용은 중심뼈대만 알면된다. 책 내용이 전부 중요한 경우도 없고 사족처럼 이어지는 부분도 있다. 그렇기에 1시간만에 읽을 수 있다. 다만, 책을 읽는 이유가 꼭 그것은 아니다. 책에 나온 다양한 내용 중에는 책에서 주장하는 것과는 다소 상관없는 부분도 있다. 간혹 이런 부분이 더 도움이 될 때가 있다. 그렇게 책을 휘리릭 넘기지 않고 읽는다.

엉뚱한 이야기로 빠졌는데 이 책을 그렇게 읽을 수도 있었다. 다 읽고나니 그래도 상관은 없었을 듯 했다. 진득하게 책을 온전히 정독으로 읽지 않았지만 내가 책을 읽는 스타일이 될 수 있는 한 정독인 이유다. 그저 이 책 중심내용만 안다고 책을 읽었다고 할 수는 없다. 생각지 못한 부분이 생각지 못한 아이디어와 영감을 주는 경우가 있다. 바로 그 지점이 실제 책을 읽으며 기쁜 순간이다. 책 내용은 까짓것 한 장으로 끝낼 수 있다.

영어를 배울 때 불규칙 동사를 배운다. 영어를 배울 때 어려운 점 하나였다. 보통 -ed로 끝내는 경우가 많은데 불규칙 동사는 어떻게 된 일인지 책에서 처음에 알려준다. -ed는 영어에서 상대적으로 늦게 생긴 단어들이다. 불규칙 동사는 오래전부터 사용되던 단어들이었다. 중요한 것은 자주 사용하는 단어라는거다. 그러다보니 자연스럽게 그 단어들은 도태되지 않고 살아남아 어렵게 외워야만 하는 동사 단어가 되었다.

'지프의 법칙'이 있다. 자주 쓰는 단어는 살아남고 그렇지 않은 단어는 점점 사라진다. 우리가 일상생활에서 짜장면이라 부르고 있는데 표준어가 '자장면'이라 불일치가 생겼다. 어느 누구도 실생활에서 자장면이라 신경쓰며 발음하지 않았다. 시간이 지나면 대중 대다수가 쓰는 단어를 무시할 수 없게 되어 이제는 '짜장면'도 표준어가 되었다. 이처럼 다수가 사용하는 단어는 더 많이 사용하면서 대중에게 선택받는다.

이건 멱함수하고도 관계있다. 일정 임계치부터 사람들은 폭발적으로 사용하며 다른 단어마저 대치하며 시간이 지나 살아남은 단어를 우리가 지금도 쓰게 된다. 재미있게도 과거에는 불규칙 동사로 쓰던 단어가 이제는 -ed로 쓴다. 열심히 불규칙 동사를 배운 외국인이 미국에 와서 깜짝 놀란다. 이제 불규칙동사도 그냥 -ed로 붙이는 현상이 신문뉴스에서도 쓰고 있으니 말이다. 이를테면 burnt가 아닌 burned로 쓰고 learnt가 아니라 learned로 쓰고 있다.

현재 구글북스라고 하여 출판된 책을 전부 디지털화는 작업을 구글이 하고 있다. 2020년까지 이미 출판된 책들을 전부 하겠다는 청사진을 갖고 옮기는 중이다. 이 책에 있는 단어들을 갖고 데이터 작업으로 특정 단어의 생성과 소멸뿐만 아니라 유명인에 대한 조사까지 하고 있는 중이다. 이른 시기에 유명해지고 싶으면 연예인이나 스포츠 선수가 유리하고 오래도록 유명해지고 싶으면 작가가 좋다. 연예인은 빠른 시간에 유명해져서 평생가지만 작가는 늦은 40대가 넘어야 하고 사후에 유명해지는 경우도 대다수였다.

이들이 그런 이유는 단 하나의 작품으로 유명해지기보다는 계속해서 데이터가 쌓이는 것처럼 작품을 발표하고 하나둘씩 쌓이면서 대중의 인지도가 올라가고 사후에 재평가까지 받으면 더 큰 인지도를 얻을 수 있다. 이런 작업을 현재 구글은 하고 있다. 이렇다해도 오래도록 사람들에게 남을 순 없다. 시간이 지나며 망각과 함께 인지도는 사라지고 기억속에 희미하게 남게 된다. 이 책에서 말한 데이터는 한계가 있다. 철저하게 책에서만 얻은 데이터다. 

책에서 언급되지 않지만 훨씬 더 인지도와 유명인사들이 있다. 그런 면을 제외해도 책에서 그런 데이터를 뽑는다는 점이 신선했다. 그 부분을 제외하면 자신들이 이 작업을 하는 여정을 책으로 펴냈다는 것 이외에는 별로 큰 감흥은 없었다. 그리고 읽기가 다소 힘들었고. 책 제목을 다소 모호하게 지어서 책 내용과는 다소 괴리감이 있다. 이 책에서 얻은 것은 지프의 법칙이다. 난 구글처럼 자본도 인력도 없어 이렇게 독서리뷰를 써서 개인적인 데이터를 만들고 있다.

그나저나 이 책은 인문으로 분류할 듯 하지만 인문으로 하는 것이 맞을까라는 의문이 든다. 마지막으로 이 책 분야를 보려고 인터넷서점을 보니 재미있게 읽었다는 분들이 제법 있다. 내가 이상한거다.^^

까칠한 핑크팬더의 한 마디 : 800만 권에 속은 듯.

친절한 핑크팬더의 한 마디 : 많이 회자되면 성공한 거다.

함께 읽을 책

http://blog.naver.com/ljb1202/220629966673

빅데이터 인간을 해석하다 - 해석당하다

http://blog.naver.com/ljb1202/220421207875

이미지 인문학 - 현실, 진실, 사실

http://blog.naver.com/ljb1202/220118580306

생각의 시대 - 로고스

구글이 꿈꾸는 세상은 과연 어떤 세상일까? 세상의 정보를 찾아 주는 검색사이트로 유명한 구글이 이제 두 팔 걷고 세상의 모든 정보를 데이터화하여 보여 줄 수 있다고 큰 소리치고 있다. 정말이지 구글은 인문학이 꿈꾸는 세상을 현실화 하고 있는 것인지 모른다. 정보들이 하나하나 쌓일 때마다 선명하게 드러나는 정보의 변화들, 시대마다 어떤 정보의 변화가 있었는지를 보여주는 것 만으로도 놀랍기만 하다. 과연 이것은 진격의 서막일 뿐 앞으로 이 무궁무진한 정보들로 구글은 무엇을 우리에게 보여 줄 수 있을까? 기대만발.

빅데이터 인문학: 진격의 서막

＜이퀼리브리엄＞(2002)에서 '반역자'로 사냥당하던 사람들, 정부에서 일괄 지급하는 약물 '프로지움'을 거부하고 아날로그의 삶을 고수하던 그들만큼이나 나는 디지털 까막눈이다. 그래도

"빅데이터" 가 대세라는데 조바심은 나서 이 책 저 책 뒤적거려는 보기는 했다. 막상 머릿속에 남는 것이라고는 빅 데이터가 데이터량 (Volume), 다양성 (Variety), 속도 (Velocity)의 3V로 요약되는 특성을 가졌다는 정도. 왠지 나의 삶과 세계관에 직접 영향을 미치지 않을 듯한 암호문 같아 굳이 정신을 집중해서 읽지도 않았는데, ＜빅데이터 인문학: 진격의 서막＞은 달랐다. 메모해가며 읽고, 자료 찾아가며 읽었는데도 또다시 읽어보려 서가 가장 전면에 꽂아두었다.

사실 빅데이터는 부록 형식의 특별좌담에서 송길영(다음소프트) 부사장이 언급했듯 "다루기에 너무 큰 (too big to handle)" 데이터이자, 앞으로 계속 커져나갈 것이며 구멍이 숭숭 뚫려 있기에 자료로서는 고약한 녀석이다. 연구자 역시 '신호'와 '소음'을 구별해서 활용가능한 데이터로 재가공할만한 안목도 쉽게 갖추기 어려울테고. 특히 질적 연구방법을 강조하는 전통에 있는 학문은 인간세계를 수량화시켜주는 빅데이터와의 조우를 미뤄왔다. 하지만, ＜빅데이터 인문학＞의 공저자인 에레즈 에이든과 장바스티스 미셸이 지적하듯, "빅데이터는 인문학을 바꾸고, 사회과학을 변형시키고, 상업 세계와 상아탑 사이의 관계를 재조정(p.17)"해줄 축복일 수 있다.  지적 열정이 넘치는 하버드대학의 두 과학자는 빅데이터는 '재앙보다는 축복'이라는, 아니 '유토피아'와 '디스토피아'의 이분법을 넘어서는 신세계를 창조해낼 것이라고 본다. 에레즈 에이든과 장바스티스 미셸은 역사적 도구를 관찰해주는 도구로서 "구글 엔그램 뷰어(Ngram viewer) "를 개발했고, 컬처로믹스(Culturomics)라는 새로운 접근법을 창조해냈다. 이는 인류학자 프란츠 보아스(Franz Boas)의 문화 개념과, 빅데이터를 지칭하는접미사로서의 '-오믹스- oimcs'를 겹합해낸 신조어이이다. 실제 그들이 제시한  엔그램 뷰어는 '듣도 보도 못한' 신개념 관찰도구이다. 검색창에 단어 하나를 입력하고(웹사이트 books.google.com/ngrams), 엔터만 치면 구글이 디지털화해온 800만 권의 책을 검색하는 효과를 낸다. 예를 들어, 암(cancer)과 열(fever)라는 단어를 앤그램 뷰어를 통해 검새해보면 디지털화된 대량의 텍스트를 정량적으로 분석해낸 매끄러운 곡선이 도표화되어 나온다. 아래의 표를 보면 19세기 초반만 하여도 cancer라는 단어는 거의 텍스트에 등장하지 않다가 20세기 후반을 기점으로 급증하며 사용된 반면 fever는 반대의 사용빈도경향성을 보임을 알 수 있다.

 800만 권이라 하면, 구글이 지난 2004년부터 디지털화해온 책 중 일부이자, 2010년 기준 추정치로서 전 세계에 존재한다는 1억 3000만여권의 책 중에는 더욱 작은 일부일 것이다. 하지만,구글은 2020년까지 남은 1억여 권의 책을 모두 디지털화하리라 전망하고 있기에 앞으로도 문화의 렌즈로서의 '엔그램 뷰어'의 활약상은 더욱 기대된다.

다만, 저작권법이라든지 물리적인 책의 생존 자체가 위협받는 현실, 디지털 아카이브에 포괄시킬 수 없는 물건들(3D 프린터가 대안이될 수 있을까?), 미출간 원고, 검색어로서의 성명과 오명 등의 장애물에 더해 여러 인식론적인 문제가 제기된다.

그중에서 일반 대중도 관심 가질만한 주제로는 업압과 검열이 빅데이터에 미친 영향이다. 저자들은 대표적인 억압의 사례로 나치의 독일문화통제 정책을 들고 있다. 실제 나치 괴헬스의 제국문화부에게 '퇴폐 미술가'라는 주홍글씨가 새겨진 마르크 샤갈의 이름은 1936년과 1943년 독일어로 쓰인 텍스트에서 증발해버렸다. 하지만 헬렌 켈러가 독일 학생조직에게 쓴 편지에서 "책들을 불태울 수 있지만, 그 책들에 담기 사살은 오랜 시간 백만 가지 통로로 스며들었고, 계속해서 다른 사람들의 가슴을 뛰게 하리라(p.154)"고 말했듯이 샤갈을 비롯, 퇴폐미술가로 낙인 찍혔던 미술가들은 여전히 인구에 회자된다. 게다가 엔그램 뷰어를 활용하면 검열과 억압의 역사를 자동 추적할 수 있다. 예를 들어, 중국 현대사에서 천안문 광장 학살에 대한 정보가 어떻게 억압당했는지는 엔그렘 엔터 한 번이면 바로 확인할 수 있다.

전인미답前人未踏의 도서관

1996년 스탠퍼드대학에서 컴퓨터과학을 연구하던 대학원생 두 명은 '스탠퍼드 디지털 도서관 테크놀로지 프로젝트'를 수행했다. 목표는 월드와이드웹으로 책들의 세계를 통합하는 미래의 도서관을 구상하는 일이었다. 그들은 사용자가 도서관의 장서들을 검색하고 사이버 공간에서 책과 책 사이를 넘나들 수 있게 해주는 도구를 만들고 있었다. 하지만 당시엔 디지털 형식의 도서들이 상대적으로 너무 적었기에 현실화되기에 이른 분위기였다. 

이후 두 사람은 한 텍스트에서 다른 텍스트로 이동하게 해주는 아이디어와 테크놀로지를 검색엔진으로 전환했다. 그들은 이를 '구글'이라고 불렀다. 구글의 설립자 래리 페이지는 자신이 예전에 사랑했던 도서관으로 복귀할 수 있는 시간을 조금 융통할 수 있었다. 여전히 실망스럽게도 디지털 형식의 책이 적었다. 그러나 만흥 변화가 생겼고, 그는 억만장자가 되었다.

구글은 이 프로젝트를 공식적으로 선언했고, 9년이 흘러 3천만 권 이상의 책을 디지털화했다. 이는 출간된 책 4권 중 약 1권꼴로 하버드(1700만 권), 스탠퍼드(900만 권), 옥스퍼드 보들리언(1100만 권)을 비롯해 어떤 대학 도서관이 보유한 장서보다 많은 양이다. 또 러시아 국립도서관(1500만 권), 중국 국립도서관(2600만 권), 독일 국립도서관(2500만 권)보다도 많다. 현재 더 많은 책을 보유한 도서관은 미국 의회도서관(3300만 권)이 유일하다. 조만간 바뀌겠지만 말이다.

인간이 축적해온 기록 유산과는 규모 면에서 비교 불가능한 양의 디지털 기록, 즉 빅데이터라는 새로운 환경에서 인문학이 맞이하게 될 혁명적인 변화를 이 책은 보여준다. 30대 초반의 과학자인 두 저자 에레즈 에이든과 장바티스트 미셸은 첨단 과학기술이 제공하는 도구를 사용한다면, 인문학이 인간에 관해 지금껏 알지 못했던 새로운 사실들을 밝혀낼 수 있으리라 전망한다.  

요약하자면 이 책은 디지털 렌즈로 들여다봤을 때 보이는 인류의 과거에 관한 책이다. 오늘날 엔그램 뷰어가 이상하고 예외적으로 보일지라도 이 디지털 렌즈는 수세기 전 광학렌즈가 그랬던 것처럼 번창하고 있다. 이 새로운 관찰도구는 급성장하는 디지털 발자국에 힘입어 역사학과 지리학, 전염병학, 사회학, 언어학, 인류학, 나아가 생물학과 물리학에 이르기까지 가려져 있던 측면들을 매일 새로이 드러내 보이고 있다.

멕시코 호세 바스콘셀로스 도서관 

책은 모두 7개 장으로 구성되어 있다. 먼저 제1장(빅데이터가 일으킬 인문학 혁명)에선 전 세계 주요 도서관 서가에 꽂혀있는 모든 책을 읽을 수 있는 로봇이 있다고 가정하면서 저자는 이제 인간을 이해하기 위해서는 책을 넘어서 데이터를 읽어야 하는 시대가 왔다고 주장한다. 디지털 시대의 인문학이란 곧 데이터를 읽는 새로운 눈이다. 즉 빅데이터는 인류의 오랜 염원이었던 혁신적인 관찰도구를 의미한다.

제2장(데이터 오디세이:언어는 어떻게 진화하는가)에선 왜 어떤 불규칙동사는 살아남고, 어떤 불규칙동사는 많은 영어 학습자들을 배신하면서 규칙화의 길을 가게 되었는지 설명하고 있다. 언어학자들의 가설은 불규칙동사들이 빈도가 높기 때문에, 다시 말해서 자주 쓰이기 때문에 살아 남았다는 것이다. 만약 이것이 사실이라면 언어, 넓게는 인류의 문화 역시 자연선택에 의해 진화한다는 명백한 증거가 될 것이다.

'운전하다'라는 뜻을 가진 'drive'의 과거형을 아는가? 사용 빈도가 높은 불규칙동사는 규칙화하지 않았으나, 사용 빈도가 낮은 불규칙동사는 어미에 '-ed'가 붙는 규칙동사로 서서히 바뀌어갔다. 아마 수백년 뒤의 사람들은 'drove'가 아니라 'drived'라고 말할지도 모른다. 사용 빈도가 낮은 불규칙동사에 속하는 'wed'는 이미 ‘wedded’로 사용되곤 한다.

저자들은 구글 엔그램 뷰어를 통해 고대부터 현재까지 영어 동사의 사용 빈도와 규칙화의 상관관계를 조사했다. 그 결과 영어에서 빈도가 가장 높은 12개의 동사는 규칙화의 길을 가지 않았다는 사실이 드러났다. 사용 빈도가 생존을 결정하는 가장 중요한 요소였던 것이다. 빅데이터 분석은 언어의 진화 과정을 규명할 수 있다는 가능성을 품고 있다.

baby sitter, baby-sitter, babysitter

제3장(데이터로 사전 만들기)에선 일반적으로 빈도가 높은 단어들을 사전은 거의 완벽하게 찾아내지만 희귀한 것들이 나오면 어려움을 겪는다. 영어의 52퍼센트가 어휘의 암흑물질, 즉 실질적으로 활용되지 않는 언어로 드러났다. 따라서 사전들이 드문 단어를 놓친다면 거의 대부분의 단어를 놓치는 셈이다. 영어는 아직도 상당 부분이 전인미답의 대륙이다. 이처럼 전통적인 사전편찬학의 한계가 갈수록 명백해지면서 이 분야에 변화가 생기기 시작했다. OED 같은 전통적인 사전들도 빅데이터의 세계로 뛰어들고 있다.

20세기 중반에 이르러 아기baby를 돌보는 데 돈 받고 애 보는 사람sitter을 이용하는 것이 아주 좋은 아이디어로 받아들여졌다. 아기와 돈 받고 애 보는 사람이 이처럼 서로 양립하는 이해를 가지게 된 이후로 둘은 함께 오랜 시간을 보내기 시작했고, 베이비 시터baby sitter의 빈도가 지속적으로 늘었다. 관계가 점점 더 진지해지면서 베이비-시터baby-sitter의 빈도가 늘어났고, 베이비 시터를 대체하기 시작했다. 마침내 아기와 돈 받고 애 보는 사람은 자신들이 하늘이 맺어준 짝이라는 사실을 깨달았다. 이들의 결합으로 아이child가 탄생했다. 아이야, 네 부모가 너를 나 베이비시터babysitter에게 맡긴 것은 바로 그래서란다.

제4장(사람은 어떻게 유명해지는가)에선 언제 사람들이 유명해지고, 얼마나 빨리 유명해지며, 얼마나 빨리 잊히고, 어떤 직업적 선택이 그들을 명성으로 이끄는지 알아낸다. 지난 200년 동안 태어난 사람들 가운데 가장 유명한 사람은 누구인가? 이를 찾아내려면 방식을 약간 바꿀 필요가 있다.

작가들은 어떤 사람을 지칭할 때 성명을 사용하기보다는 성만 쓰는 경향이 있다. 아인슈타인이라는 단어를 본다면 이 단어 앞에 앨버트라는 단어가 올 확률은 겨우 열 번에 한 번밖에 안 된다. 그러나 만약 어떤 사람의 성과 이름이 둘 다 한 음절 길이밖에 안 된다면 사람들은 성명을 더 자주 쓸 것이다.

지난 200년 동안 매년 가장 유명한 열 명의 명단을 만든 결과, 1940년경까지의 조사에선 히틀러나 스탈린이 나타나지 않았다. 그러나 1950년부터 전대미문의 잔악무도한 행위가 실행된 뒤로 히틀러, 스탈린, 무솔리니가 각각 1위, 2위, 5위로 뛰어올랐다. 가장 위대하고 도덕적으로 가장 용감했던 대통령 링컨은 5위 이상으로 올라간 적이 없다. 명성으로 가는 가장 확실한 길이 사람을 죽이는 일인 그런 세계에 우리가 살고 있다는 게 너무나도 찝찝하다.

제5장(침묵의 소리:빅데이터가 말하는 억압과 검열의 역사)에선 '구글 엔그램 뷰어'의 검열, 탐지 기술을 살펴본다. 이는 우리가 알고 있는 역사적 사실과 질적으로 비슷한 결과를 가져다준다. 역사학자들보다 훨씬 빠른 속도로 말이다. 그러므로 빅데이터는 거대한 정보 속에 스며든 억압과 검열의 흔적, 편견의 효과 등을 파악하는 데 강력한 대안이 될 수 있다. 실제로 위키피디아에서는 각 항목을 서술하고 편집하는 데 개입될 수 있는 편견과 문제들을 파악하기 위해 통계적 방법론과 엔그램 데이터를 도입하려 시도하고 있다.

우리의 통계적 검열-탐지 기술은 전통적인 방법을 이용하는 전통적인 역사학자의 그것과 질적으로 비슷한 결과를 가져다준다. 그러나 전통적인 방법들과는 다르게, 우리의 분석은 컴퓨터를 이용해 거의 즉각적으로 수행될 수 있다. 그러나 점점 더 많은 정보가 생산되면서 모든 것, 심지어 모든 것 가운데 중요한 조각조차 읽는 것이 불가능해지고 있다. 우리에겐 대안이 필요하다. 빅데이터는 강력하다.

흥미롭게도 위키피디아는 최근 편견을 탐지하는 방법의 일환으로 빅데이터의 장점을 취하기 시작했다. 위키피디아의 여성 적대적 편견에 대해서 오랫동안 논의가 있었는데, 이는 분명 위키피디아의 편집자 대부분이 남성이라는 점에서 비롯되었다. 이 논의는 주로 입증되지 않은 증거들에 의존했다.

이제 이 논의에 통계적 방법론과 엔그램 데이터를 도입하려는 새로운 시도가 진행되고 있다. 이 일의 목표는 문제가 있는 추세와 글을 명확하게 구분해서 그 결점에 대처할 수 있도록 하는 것이다. 미래에는 이런 방법들이 선의를 가진 자원 봉사자들로 움직이는 웹사이트에만 국한되지는 않을 것이다. 정부가 정직해지도록 이끌고, 국민과 사상을 자유롭게 하는 데에도 사용될 것이다.

상상력을 현실로 만들어내는 일을 하는 사람들은 보면 참 대단하다고 생각 됩니다.
누군가는 상상을 하는 것으로 끝나지만, 누군가는 상상으로만 끝내지 않고 그것을 현실로 만들어내는 사람들.
이 책에 관심이 간건 바로 상상을 현실로 만들어 낸 친구들의 이야기가 궁금해서 입니다.
지금 껏 어느 누구도 생각해보지 못한 것을 현실로 만들어 낸 친구들을 만나볼 수 있다는 설렘으로 만난 책 [빅데이터 인문학].

당시 그들은 오랜 시간 역사 연구에 흥미를 가지며, 인류 문화가 어떻게 변화해 왔는가에 사로잡혀 있었다고 한다.  인류 문화의 변화들이 대개는 극히 미묘해서 다른 무언가의 도움을 받지 않고 인간의 지능만으로는 거의 알아낼 수 없기에, 두 저자는 대담하게도 인류 문화를 측정하는 현미경 같은 것이 있어서 우리가 전혀 알아채지 못했던 작은 결과들을 알아내고 추적할 수 있다면 대단할 것이라는 생각을 하게 된 것이 바로 놀라운 결과물을 만들어 내게된 것의 시작이다. 두 저자는 그들의 생각을 결과물로 만들어 내는 데에는 역시 질문이 있었다.  물리적인 사물을 관찰하는 대신 역사적 변화를 관찰하는 어떤 도구를 창조하는 게 가능할까라는 질문을 시작으로 끝없는 질문을 통해 확장된 그들의 생각은 인류가 벌인 활동에 관한 역사적 기록의 창조 및 보존과 연관된 빅테이터 혁명과 만나게 된다.이 혁명의 결과물은 우리 자신을 바라보는 방법을 바꿀 것이라 생각한 이들은 현재의 빅데이터는 앞으로의 빅데이터에 비교 해서 빙산의 일각에 불과할 것이라는 저자들. 오늘날 연구자들은 빅데이터를 가지고 그들의 조상은 꿈조차 꾸지 못했던 실험을 하고 있다며, 이 책은 그런 실험들 가운데 하나의 관한 이야기라며 이야기를 시작한다.

구글 창업자이며 억만장자인 래리 페이지는 월드와이드웹으로 책들의 세계를 통합하는 미래의 도서관을 구상한 후 자신의 돈으로 그는 세상의 모든 책을 스캔하고 디지털화하는 구글 북스 프로젝트를 시작한 후 9년의 시간동안 3000만권 이상의 책을 디지털화 하는데 성공한다.1억3000만권을 2020년 까지 모두 디지털화 하겠다는 계획. 그 시절 저자는 영문법 역사를 다루는 논문을 마무리 하고 있던 저자들은 자신들의 연구를 위해 장기적으로 이용하고 있는 책이 구글 북스 프로젝트 덕분에 웹에서도 볼 수 있다는 것을 알게 된 다. 빌딩 한채를 디지털화 한 구글,  그 책들을 통채로 디지털화하는 구글의 프로젝트는 완전히 새로운 유형의 빅데이터를 만들어 내는데, 이것은 사람들이 이전에 무언가를 보던 방식을 바꾸어 놓을 잠재력을 지니고 있다는 것을 발견 한 그들은 그 누구도 생각지 못한 대단한 생각을 하게 된다. 그들은 한 세대에 이어 다음 세대가 살다가 죽을 때까지 오랜 기간에 걸쳐 이어지는 문화적 변화의 유형을 연구하겠다는 목표를 세우는 저자들. 그들은 디지털화 한 책들은 롱데이트를 포함하고 있기에 대부분의 빅데이터와는 달리 현대 인류의 그림을 그리는 데에만 국한되지 않는다는 것을 생각, 책은 상당히 오랜 시간에 걸쳐 우리 문명이 어떻게 변화 했는지를 담은 초상화를 제공한다는 것을 별견, 책은 대단히 매력적인 데이터세트로 놀랍도록 다양한 범위의 주제를 다루며 폭넓은 시각을 반영하여, 역사와 문학 분야에서 특정 시기에 특정 장소에서 나온 책들은 해당 시기와 장소에 관한 정보에서 가장 중요한 원천이라는 이라며, 구글이 디지털화 한 책들을 디지털 렌즈로 검토하여 인류 역사를 연구하는 관찰 도구를 7년에 걸친 노력을 기울인 끝에 구글과 함께 만들게 된다.

그 관찰도구가 바로 수천만권의 책에서 역사적 변화를 수량화하는  '엔그램 뷰어'다.그동안 전 세계 모든 연령대비 수백만 명이 역사를 새로운 방식으로 이해하기 위해 지금껏 아무것도 그려본적 없는 도표를 그려내는 엔그램 뷰어.무엇이든 물으면 그 답을 찾아주는 엔그램 뷰어.  앞으로 디진털화한 책들이 더 쌓이면 지금보다 더 놀라운 결과물을 보여줄 엔그램 뷰어. 이 책은  이 엔그램 뷰어가 나오기 까지의 이야기와 이 엔그램 뷰어가 보여주는 놀라운 결과물을 흥미롭게 보여준다.