빅데이터는 이미 대세가 되었다. (그 대세는 입시와 직결되어 수학과나 통계학과의 인기를 불러오고 있다)

빅데이터는 단지 데이터의 분량이 많은 것을 의미하지는 않는다. 빅데이터는 개별적인 사람이나 현상에 대에 해석하는 것이 아니라 개별성을 무시하고 전체적인 집단으로서의 데이터를 두고 해석한다. 큰 데이터를 두고 그 안의 한 사람, 한 사건, 한 물건이 이렇다 저렇다고 한다면 그건 빅데이터의 범주라 할 수 없다(적어도 나는 그렇게 이해한다). 그 안에 나의 데이터가 들어가 있는 경우, 나에 대한 구체적인 분석이 아니라 나를 포함한 집단에 대해 분석한다. 나의 개별성은 사라지지만 한 집단에 속하는 나의 종합성은 살아남는다. 그걸로 집단 속에 포함된 나에 대한 공략이 시작된다. 공략은 이제 개별적이 된다.

따라서 이 책에서 ‘인간을 해석한다’고 했을 때, 여기서 ‘인간’이란 철학적 인간도 아니며, 개별적인 인간도 아니다. 지금 이 순간을 살아가는 인간이되 집단으로서의 인간, 개별성을 제거한 인간이다. 그런 인간을 빅데이터로 해석했을 때 어떤 모습이 나오는지를 지켜보는 것이다. 이러한 인간에 대한 해석은 인간이나 사회에 대해 이미 가지고 있는 어떤 관점을 최대한 제거한 상태에서 이뤄진다. 물론 편견과 경험에서 자유롭지 못한 것이 인간(여기서 인간이란 개별적인 인간, 빅데이터를 이용하여 분석하는 사람을 뜻한다)이기에 관점이 완전히 제거될 수도 없고, 돈을 들여서 하는 빅데이터 분석이 아무런 목적도 없이 행해지는 것도 거의 있을 수 없지만, 아무튼 원리상으로는 그렇다.

빅데이터에 관한 책도 많이 나왔다. 그 내용도 다양하다. 학문적인 것부터 시작해서 기업에서 이용하는 방법, 한계와 문제점에 대한 책들. 그것들 모두가 빅데이터에 관해서 제대로 설명하고 있는지는 모르겠지만 빅데이터가 이제는 대세가 되었음을, 우리가 그 세계에 살고 있음을 증명하고 있다.

크리스천 러더의 『빅데이터 인간을 해석하다』도 빅데이터 대세론에 동참한다. 저자는 데이트 사이트인 Ok큐피드(OkCupid)의 공동 창립자로서, 그 사이트에 모인 데이터를 분석하는 데이터과학자이다. 이 책은 주로는 그 Ok큐피드에서 모은 데이터를, 추가적으로는 구글, 페이스북, 트위터의 데이터를 이용한 분석, 즉 인간에 대한 해석을 소개하고 있다. 물론 그 중에서 독보적으로 흥미 있는 데이터들은 Ok큐피드에서 모은 자료들이다(역시 남녀 사이의 관계가 가장 재미있는 소재다). 저자가 보기에(그리고 나도 마찬가지로) 그 데이터들은 우리가 남에게 보이는 것을 신경 쓰면서 감추는 우리의 본 모습을 그런대로 잘 드러내주기 때문에 적나라하면서, 더 의미가 있다.

예를 들어 Ok큐피드에서 얻어 분석한 데이터는 여성들은 나이가 들면서 자기와 연령대가 비슷한 남성을 멋있다고 보는 반면, 남성들은 20대나, 30대나, 40대나 20대 초반의 여성을 가장 매력 있다고 여긴다는 걸 보여준다(나 역시 부정하고 싶지만 그렇게 쉽게 부정할 수는 없을 것 같다).

인종 차별은 쉽게 입에 올리기 힘든 얘기이며, 대부분의 사람들은(특히 진보적임을 자임하는 이들은) 자신이 그런 데서 자유롭다고 여기고 그렇게 얘기한다. 하지만 데이터는 달리 얘기한다. 분명 동양인 남성(내가 그러니까 그것부터 보게 된다)은 동양인 여성에 가장 호감을 가지며, 그 다음으로는 백인 여성, 가장 예쁜 흑인 여성은 동양인 여성의 중간 정도로밖에 평가하지 않는다. 동양인 여성(내게 가장 가까운 그룹이니까)은 슬프게도 동양인 남성보다도 백인 남성을 더 매력적으로 평가한다. 심지어 선천적 (백인) 맹인까지도 상대가 흑인이라는 걸 알게 되면 데이트(Ok큐피드니까)는 끝이 난단다. 우리 마음 깊은 곳에는 아직도 인종 차별이 남아 있는 것이다(아니라고 할 수 있겠는가?).

빅데이터는 그런 반(反)진보적인 인간에 대한 해석뿐만 아니라, 인간이 진보적으로 나아가는 추세에 대해서도 예견한다. 이를테면 동성결혼에 대한 태도다. 빅데이터는 동성에게 검색을 허용하는 동성애자의 비율이 높을수록(동성애에 대한 법적, 차별에 덜 신경쓴다는 얘기, 즉 그런 차별이 덜 하다는 얘기다) 동성애 수용률이 높으며, 동성결혼이 합법화되어 있다. 그리고 그 관계를 그린 그래프에서 추세선을 그리게 되면 약 2030년 경에는 동성 결혼이 (미국) 전 지역에서 합법화되리라고 예측하고 있다(이 예측은 『신호와 소음』의 네이트 실버의 예측이다).

이 책은 (당연히) 빅데이터 분석이 가지는 문제점과 방향에 대해서도 얘기를 하고 있다. 그러나 그런 문제점이 있음에도 불구하고 이미 불붙은 속도는 제어하기가 힘들 것이라 생각한다. 그 업계에 종사하는 저자이니만큼 더 생생하게 느끼고 있을 것이고, 그래서 저자는 이 책에서 빅데이터를 이용하여 사업에 이용하는 등의 목적을 가진 분석은 최대한 자제하고 있다. 아마도 그것은 누군가는, 아니 정부나 기업에서 고용한 대부분의 빅데이터 분석가들이 할 것이다.

책을 읽으면서 빅데이터로 분석한 우리 본연의 인간의 모습에 재미있어 했지만, 결국에 무섭다는 생각으로 책을 덮었다. 빅데이터에서 나도 분석되고 있으며, 그 분석된 나는 정작 ‘내’가 아니다. 나는 집단 속에 매립되어 버려 통째로 해석되고 있다. 정부나 기업은 나를 개별적으로 파악하지 않을 것이다. 빅데이터의 시대는 씁쓸하다.

역설적으로 그러니 더욱 나의 정체성을 찾고, 개별성을 찾고자 하는 노력이 필요한 것이다.

이 책을 읽는 대다수의 독자들은 빅데이터에 강조점을 둘지도 모르겠다.

하지만 나의 경우에는 각종 속설들에 대해서 데이터에 근거를 두고 검증을 해보는 것에 관심이 갔다.

여성의 연령별 가장 잘 생겨 보이는 남자의 나이는 몇살인가?

과연 남자는 어떤 연령대라도 젊은 여자만을 좋아하는가?

한 주동안 받은 메세지(ok 큐피드 사이트 내에서)와 외모 백분위의 상관관계는?

개인적으로 너무나 흥미롭게 생각하는 주제들이다.ㅎㅎ

게다가 키보드 워리어 증식이론까지 제기하면서

그 근거들을 막대한 통계자료를 통하여 제시하고 있다.

흥미롭지 않은가?

일단 책을 읽고나서 참 공감이 갔던 것은...

남자는 애나 어른이나 똑같다는 것 ㅋㅋㅋ

빅데이터의 시대라고 한다. 빅데이터를 통해 이미 알고 있던 것을 다시 확인하거나 새롭게 조명된다. 소문만으로 떠돌던 이야기가 빅데이터를 통해 사실로 밝혀지기도 한다. 나도 모르는 나를, 우리도 모르는 우리를 규정할 수 있게 만들어줬다. 말로는 어떤 것이든 할 수 있지만 행동마저 속일 수 없다. 말과 행동이 다른 것을 기존에는 제대로 캐치할 수 없었지만 이제는 이마저도 구분하게 되었다. 글로 '이런 거 좋아요.'하지만 실제로 그가 하는 행동이 다른 걸 밝혀내기도 한다.

빅데이터와 관련된 다양한 연구와 책이 쏟아지고 있다. 빅데이터는 결국 인간을 알기 위한  하나의 과정이고 이를 통해 아직까지는 기업에서 소비를 촉진하고 증진하기 위한 방법으로 쓸모가 있다. 이 책인 ＜빅데이터 인간을  해석하다＞의 저자인 크리스천 러더는 데이트 사이트인 OK큐피트 사이트의 창업자이자 데이터 분석을 한다. 이미 데이트 사이트를 통해 ＜짝찾기 경제학＞이라 하여 경제를 알려준 책도 있다. 데이트 사이트는 은밀하지만 솔직하다. 상대방에게 나를 어필해야 하고 선택해야 한다.

그 곳을 통해 실제 만남을 갖고 결혼까지 한 커플들이 있으니 이곳에서 벌어지는 각종 데이터는 충분히 신뢰할 만 한다. 그렇다고 무조건 신뢰하는 것이 아니라 상대방에게 잘 보이기 위한 것은 구분하며 데이터를 축적해야 한다. 이렇게 오랜 시간동안 다양한 데이터를 모은 저자가 이를 책으로 펴 내며 각 개인이 아닌 집단으로 인간에게 대해 알려준 책이다. 명확하게 남성과 여성뿐만 아니라 인종과 연령까지 전부 오픈되어 있는 공간에서 벌어지는 데이터말이다.

그럼 어디 여러 가지에 대해 지금부터 한 번 알아보도록 하자.

슬프게도 사실로 들어났다. 그동안 소문으로만 - 또는 재미꺼리로 - 떠도는 이야기가 있다. 여성들은 연령에 따라 좋아하는 남자 연령과 직업등이 다르지만 남자는 그렇지 않다는 것이었다. 데이트 사이트만큼 이에 대해 명확하고도 확실히 알려줄 곳은 없을텐데 실제로 그랬다. 다양한 의견이 있는 여성이 비해 남성은 연령불문하고 젊은 여성을 선호했다. 책에서는 21살 전후의 여성이었다. 선호하는 것과 실제로 데이트 상대로 초대하거나 신청하는 것은 다를지라도 말이다. 

우리는 평범하게 살아가기를 원할지라도 현대 사회는 갈수록 힘들다. 특히나 평범해서는 갈수록 수많은 사람이 있는 곳에서 변별성을 갖지 못한다. 뿐만 아니라 자신이 무엇을 하기 위한 브랜드를 갖기 위해서도 이것은 문제된다. 그렇기에 다소 위험성이 있어도 개성이 있어야만 선택받는다. 데이트 사이트에서도 평범한 사진등은 선택을 받기 힘들다. 개성이 있어야 누군가 연락을 한다. 개성이 있어 기피하는 사람도 늘어나겠지만 먼저 연락하는 사람이 훨씬 많아진다. 어차피 기피하는 사람은 평범해도 똑같은 확률일 가능성이 크다. 다소 개성적인 사진과 글과 브랜드는 현대사회에서는 생존의 조건인지 모른다. 

6단계 법칙이 있다. 모든 사람은 6단계만 거치면 다 아는 사람이라는. 한 때 이 법칙이 유행하며 한국에 평범한 사람이 미국 대통령을 연락하는데 6단계면 가능하다는 실험을 한 적도 있다. 이런 사실은 페이스북을 통해 증명이 되었다. 페이스 북에는 총 7억 2100만개 계정이 있다. 지금은 더 많아졌겠지만 이 계정들 중에 99.6%가 여섯 단계 이하로 연결되어 있어 밀그램이론을 입증했다. 특히나 페이스북은 당장이라도 유명인과 친구신청만으로도 직접 연결이 가능해졌다.

OK큐피트 사이트에서는 크레이지 소개팅을 한 적이 있다. 묻지도 따지지도 않고 상대방을 전혀 모르는 상태에서 만난는 이벤트였다. 대부분 데이트 사이트에는 서로 상대방의 정보를 얻고 - 본인이 공개한 - 몇 번의 연락을 한 후에 만난다. 당연히 외모나 스펙이 좋은 사람에게 더 몰리는 것은 당연한 현상이다. 크레이지 소개팅은 상대방의 극히 일부 사진만 본 상태에서 만난다. 뽑기와도 같은 상황인데 막상 약속장소에 간 사람들은 전부 외모와 상관없이 만족도가 높았다. 상대방에 대해 어떤 선입견도 없이 만나 즐거운 시간을 보냈다. 이 결과에서 생각해 볼 것은 그 장소에 갔다는 것은 본인 스스로에 대한 자신감과 자존감이 높은 사람들이라 본다. 그런 사람들이 만났으니 상대방에 대한 호감은 높지 않았을까 하는데 이 부분은 설명되지 않았다.

난 동양인 남성이다. 데이트 사이트를 보면 주로 같은 인종끼리 상대방을 선호하는 걸로 나온다. 그 중에서 흑인여성과 동양인 남성의 선호도가 가장 떨어진다. 책엔 나오지 않지만 블루 칼라 눈동자를 가진 사람들은 서로를 선호한다. 종족 생존에 따른 결과라고 한다. 데이트 사이트에서는 남성에 비해 여성의 외모가 절대적인 영향력을 미친다. 단순히 데이트뿐만 아니라 취업시장에서도 여성은 외모가 절대적인 영향을 갖는다. 미국이나 한국이나 동일하다. 한국 취업시장에서 젊은 여성들이 더욱 자신을 가꾸고 노력하는 것은 생존을 위한 필수조건일 수밖에 없다.

새해에 사피야 나와즈는 트위터에 '이 아름다운 지구가 이제 2014살이라니, 놀라워.'라는 트윗했다. 그 이후 리트윗이 무려 1만 6,000번이나 되었다. 점점 사람들은 사피야를 조롱하기 시작했다. 인신공격은 물론이고 그 가족까지 공개되면서 재미삼아 올렸던 트윗은 사피야에게 두고 두고 돌아올 수 없는 상처가 되어 돌아왔다. 인터넷에서는 이런 일이 갈수록 비일비재하고 있다. 농담이 농담이 아닌 조롱이 되고 순간적으로 바보가 되며 치명적인 폐허가 된다.

사람들은 느끼지 못하겠지만 주로 쓰는 단어들이 있다. 이는 성별에 따라 인종에 따라 다르다. 광범위하게 어느 인종이나 성별이나 쓰는 단어가 있지만 특정 단어는 특정인만 주로 쓴다. 이를 통해 자신이 인지하고 인식하지 못하지만 자신의 정체성을 드러낸다. 한국인도 마찬가지다. 또한 자신의 직업과 어떤 관심을 갖고 있느냐에 따라서도 주로 쓰는 단어가 있다. 주변 지인은 거의 쓰지 않는 단어를. 이렇게 우리는 우리도 모르는 사이에 관찰당할 수 있다.

그동안 역사는 일부 유명인을 통해 서술되었지만 이제 데이터를 통해 역사는 개인의 집합이 되었다. 개인마저도 스스로 밝히고 공개하고 쓴 것들을 데이터로 모아 어떤 인물인지 규정할 수 있게 되었다. 굳이 MBTI같은 걸 할 필요가 없어졌다. 평소 하던대로만 해도 얼마든지 어떤 인물인지 자신도 모르는 자신을 깨닫게 해준다. 이제 자라고 있는 아이들과 청소년들은 본인도 모르게 어릴 때부터 모든 것이 데이터화되며 규정당할 수 있다. 이 내용이 꼭 부정적인 뉘앙스일 필요는 없어 보인다.

데이터로 우리는 이전과는 다른 세상을 살고 세상이 펼쳐질 듯 하다. 자발적인 공개로 데이터가 지금 이 순간에도 쌓이고 있다. 내가 올린 글을 모아도 어떤 관심이 있고 주로 어떤 생각을 하고 어떤 부류의 사람을 만나는지도 확인이 가능하다. 인문으로 인간을 배운 예전과 달리 이제는 데이터로 인간을 배우게 될 듯 하다. 그 안에서 새로운 통찰과 혜안이 탄생할 것이다. 

까칠한 핑크팬더의 한 마디 : 데이터 이야기는 역시나 아직은....

친절한 핑크팬더의 한 마디 : 데이터로 들어다 본 인간

함께 읽을 책

http://blog.naver.com/ljb1202/208562533

숫자에 속아 위험한 선택을 하는 사람들 - 숫자

숫자에 속아 위험한 선택을 하는 사람들 작가 게르트 기거렌처 출판 살림출판사 발매 2013.09.30 리뷰보기 ...

blog.naver.com

포르노 보는 남자, 로맨스 읽는 여자 - 남자는 OR 여자는 AND

포르노 보는 남자 로맨스 읽는 여자 작가 오기 오가스, 사이 가담 출판 웅진닷컴 발매 2011.10.10 리뷰보기...

blog.naver.com

생각의 시대 - 로고스

생각의 시대 작가 김용규 출판 살림 발매 2014.08.27 리뷰보기 저자인 김용규의 책을 우연히도 보름동안 두...

blog.naver.com

크리스천 러더가 쓴  "빅데이터 인간을 해석하다"의 원제목은 "Data Cataclysm" (데이터 캐터클리즘) 즉, 데이터의 대홍수(혹은 대변동)이라는 뜻이다. 

인터넷과 모바일을 통하여, 구글검색, 페이스북, 트위터, 위치정보 등 많은 데이터들이 실시간으로 쌓이고 있으며 누군가는 이러한 데이터 소위 빅데이터를 집계하고 가공하고 응용하고 있다. 

이 책의 저자 크리스천 러더는 미국에서 많이 이용되는 인터넷 데이트 싸이트인 'Ok큐피트'의 공동창업자이자 동사에서 데이터분석 전문가로 일하고 있다. 이러한 회사에서 일하는 경험과 데이터를 이용하여 저자는 우리가 어떻게 인간을 해석할 수 있는지 얘기하려 한다. 

데이트 싸이트에서 남자는 어떤 여자에게 호감을 가지고 데이트 신청을 하는지, 반대로 여자는 어떤 남자에게 호감을 가지는지 분석하고 있다. 동양인/흑인/백인/히스페닉 남자들은 모두 백인 여자를 선호하고 흑인여자를 선호하지 않으며, 동양인은 동양인을 선호하는 등 같은 인종의 이성을 선호한단다. 반면에 동양인/흑인/백인/히스페닉 여자들은 공통적으로 백인을 선호하며 흑인과 동양인 남자를 선호하지 않는다. 특히, 동양여자는 백인 남자를 같은 동양인보다 더 선호한단다. ㅠㅠ..

연령대별로 남녀의 선호를 분석해 놓은 것을 보면, 여자들은 비슷한 연령대의 남자를 선호한다. 반면에, 남자들은 20대든 30대든 40대든 공통적으로 20대 초반의 여성만 선호한단다. 예상은 했지만 놀라운 결과이다. 

아참... 이성을 보고 두근거림이 생기는 것이 곧 로맨드의 시작이라면, 실제로 여성이 남성이게( 혹은 반대의 경우에) 여성이 받은 점수의 분산(variation)이 큰 경우에 보다 많은 남성에게 대시를 받는단다. 즉, 양 극단의 평가를 받는 여성이 오호려 안정적인 평가를 받는 여성보다 더 매력적이라는 얘기란다. 분산이 크다는 얘기는 싫어하는 사람이 많지만 아주 좋아하는  사람도 많다는 얘기다. 

데이터는 주장이 아니라 우리가 직면해야 할 사실을 보여준다((180쪽). 이것이 저자가 빅데이터 분석을 통하여 발견한 한 통찰인 것 같다. 내가 혹은 우리가 인정하든 아니든 그것은 '사실'이고 현상이라는 것이다. 

저자가 발견한 것 중 우리의 통념과 상식과는 다른 사실 하나를 소개해보면... 

빅데이터를 분석한 결과 미국의 어느 지역에서나 동성애자의 비율이 약 5%인 것으로 나타났다는 것이다. 그런데, 갤럽 같은 곳에서 정치분석 목적으로 동성애 성향을 조사하면 보수적인 시골 주에서 도시 주에 이르기까지 2%~10% 의 범위를 나타내는데 빅데이터의 집계가 사실이라면 이는 사람들이 주변의 시선 등 사회적 압력에 의해 자신의 성적 정체성을 드러내지 못함으로 말미암아 데이터분석에 왜곡이 생긴다고 한다. 

많은 데이터 즉 빅데이터는 한사람 한사람에 대한 정보는 제공하지 않는다. 다만, 전체로서의 인간에 대한 정보의 합으로서의 '실제' 인간의 모습과 인간사회의 모습을 보여준다고 할 수 있겠다. 이 책은 밀도 높은 클러스터, 무게중심, 인간생활의 반복과 공통점에 의해 계속 되풀이되는 데이터에 초점을 맞추어 인간을 이해하려는 시도를 하고 있다고 볼 수 있다. 

무엇보다도 중요한 사실은 데이터를 숫자로 환원하고 반복하는 작업은 과학적 방법이라는 것이다. 과학적 방법으로 수행하는 작업과 분석은 인류 지식의 진보를 가져오므로 의미가 있고, 빅데이터를 분석하는 데이터 과학은 앞으로 유망한 분야인 것 같다.

○광주시는 최근 3년간 발생한 자살사고와 119 구급자료, 응급진료정보, 기상자료, SNS 게시글 등 빅데이터에 기반해 자살 고위험군의 특성을 분석한 결과를 발표했다. 광주시는 빅데이터 분석을 토대로 자살 고위험군별 시도 주기, 요일 등에 따라 자살 반복 시도자를 집중 관리하기로 했다.
○특허 분쟁과 소송도 빅데이터로 대응하는 시대가 온다. 셀수없이 많은 정보를 한꺼번에 모아 조사·분석할 뿐 아니라 특허 쟁점 요소에 대한 유사성 여부까지 신속하게 판단할 수 있는 솔루션 등이 개발되고 있기 때문이다.
○네이버는 13년 동안 쌓아온 이용자 패턴을 분석한 빅데이터를 기반으로 이용자 맞춤 답변을 제공하는 '지식iN 답변 추천' 서비스를 오픈했다.
○전라남도는 지난 4월 개통된 호남고속철도에 따른 교통 활용 변화 등 이용객 행태를 빅데이터로 분석해 전남지역 경제 활성화를 위한 상권, 관광, 교통 등 맞춤형 정책개발에 활용할 계획이다.
○국립암센터는 120만명 암 경험자와 생존자 데이터베이스를 구축해 암치료 후 생활습관 등 암 빅데이터 분석을 실시한다. 이를 통해 암 재발 예방, 치료 후 생존율 향상 등을 위한 전주기적 관리시스템을 개발할 계획이다.
○정부는 지난 13년간의 식중독 발생사례를 분석해 관계기관에 제공한 식중독 발생 예측정보가 식중독 예방에 효과가 있는 것으로 나타났다고 밝혔다. 식약처는 이 정보를 지방자치단체와 교육청, 외식업중앙회 등과 공유하고 학교급식 관계자 교육과 손 씻기 홍보 등을 한 결과, 올해 9월까지 식중독 환자수가 최근 5년 평균 같은 기간 환자수 5천513명보다 19.9% 감소했다고 설명했다.

아직은 생소한 '빅데이터'를 검색해보니 최근 한달간 뉴스로 이런 내용들을 볼 수 있었다. 빅데이터는 삶의 전 영역에 매우 가까이 다가와 있다. 내가 컴퓨터와 스마트폰을 통해 내보낸 사소하고도 하찮은 정보들이 모이고 카테고리에 따라 분류, 분석되어지면 사회적 의미를 갖게 된다. 전문가들은 아직은 데이터가 쏟아지는 속도를 분석하는 속도가 따라잡지 못한다고 한다. 그러나 기술의 급격한 발전은 머지 않아 이 간극을 따라잡을 것이다.

빅데이터, '생각의 속살'을 들여다보다

미국의 대표적인 데이트 싸이트 'Ok큐피드'(OkCupid) 공동 창립자이자 데이터 과학자인 크리스티안 루더는 ＜빅데이터, 인간을 해석하다＞라는 책에서 "지금까지 데이터에 대한 대중의 논의는 주로 정부 감시와 상업적 기회라는 두 가지 분야에 집중되어 왔다"며 'Ok큐피드'의 고객 경험 데이터를 활용한 자신의 연구는 감시와 돈을 뺀 '제 3분야'인 '인간에 대한 이야기'라고 강조했다. 그는 "우연한 기회에 인간은 디지털 데이터를 통해 자신이 싸우고 사랑하고 나이 드는 모습, 자신이 누구이며 어떻게 변해가는지까지 볼 수 있게 되었다"며 "그저 들여다보기만 하면 된다. 전체 데이터 중 아주 작은 부분만 살펴보더라도, 아무도 지켜보지 않는다고 생각할 때 사람들이 행동을 하는지 드러난다"고(17쪽) 했다.  

빅데이터를 통해 우리는 더 이상 "우리 친구 할머니는 하루에 담배 두 갑씩 피우고도 95세까지 살았다"와 같은 일화가 아닌 수만, 수억 명의 흡연자 건강에 대한 사실을 객관적으로 확인할 수 있다. 비범한 사람들의 큰 목소리만 기록한 기존의 역사가 앞으로는 보통 사람들의 작은 목소리에도 기록하는 역사로 바뀔 것이라고 이야기한다. (7쪽)

세상의 모든 데이터를 수집, 분석, 활용하는 시대는 어떤 모습일까? 데이터는 우리의 정치, 문화, 취미, 집단속에서 타인의 속마음은 물론 내가 모르는 나까지도 담아낼 수 있다. 저자는 "이미 정립된 잘 알려진 개념을 수백만 명의 아주 작은 행동 하나까지 찾아내 검증하는 세부 정보는 기존 연구를 강화하고 미묘한 차이를 분석할 수 있게 해줄 뿐만 아니라 연구의 발전 방향을 제시해주기도 한다"(158쪽)고 설명한다.

저자가 보기에 '인종 차별'이라는 키워드는 데이터의 미래 가능성을 엿볼 수 있는 몇 안되는 분야 가운데 하나다. 검색 경향의 변화와 그 무렵 일어난 사건을 연결시키면 테이터 이면에 드리운 사람들의 감정을 엿볼 수 있다. 흑인을 비하하는 단어인 'nigger'는 미국에서 1년에 700만번이나 검색되는 흔한 검색어다. 2008년 미국 대통령 선거 기간 동안, 6월 6일 힐러리 클린턴이 물러나고 오바마가 민주당 공식 후보가 된 날 'nigger' 검색 횟수가 최고점을 갱신했다. 선거 당일 밤 'nigger' 검색이 폭주했고 전례 없는 최고점을 기록했다. 오바마가 당선된 다음날 '오바마'에 대한 검색 100개 가운데 1개에 'nigger' 또는 'KKK'라는 단어가 붙어 있었다.

사실 미국 성인들 상당수는 채용, 면접과정에서 흑인에게 점수를 낮게 주는 한결같은 경향을 보인다. 대부분의 사람들은 인종차별이 나쁘다고 생각하지만, 차별할 의도나 생각 없이 행해지는 수백가지 사소한 일상적 행동이 합쳐져 사회 전반적인 인종 차별의 문화를 형성한다.

개개인은 따로 놓고 보면, 모든 개인적 경험은 너무 사소하고 다양해서 '인종 차별'이라고 '확신'할 만한 행위는 찾아볼 수 없다. 언제나 피부색이 아니라 자신이 문제일 가능성이 있기 때문이다. 반면 오바마가 당선되고 난 후 얼굴이 벌개져서 '검둥이 농담'(nigger jokes) 따위나 검색하는 남자를 떠올려 보면 한편으론 우습지만, 그런 사람이 1000명 있고 그 1000명이 모두 똑같은 검색을 하는 모습을 상상하면 마냥 웃기는 힘들다. 더욱이 이런 사적인 태도가 공적인 영역에서조차 큰 영향을 미친다는 사실을 접하면 웃음기는 싹 가신다. 한 사람의 이야기와 우리 모두의 이야기는 다르다. 집합 데이터가 필요한 이유는, 바로 개인의 일화로는 절대 승자를 가릴 수 없는 논쟁의 답을 준다는데 있다. 데이터는 주장이 아니라 우리가 직면해야 할 사실을 보여 준다. (180쪽)

데이터 홍수 시대, 익사할 것인가? 떠오를 것인가?

앞으로 2년 안에 지금까지 출판된 모든 책에 쓰인 글의 양보다 트위터에 올라온 글이 더 많아질 것이다. 트위터 덕분에 우리는 생각을 구성하는 글 뿐만 아니라 사회적 연결 기능을 하는 글도 연구할 수 있게 되었다. 전통 매체외 달리 트위터에서는 사회적 연결을 개개인 단위까지 확인할 수 있다.

구글 북스는 전 세계 도서관과 협력해 지금까지 약 3000만 권의 크고 작은 책을 디지털화했다. 구글 북스의 방대한 데이터는 문화를 정량적으로 연구하는 새로운 학문, 컬처로믹(culturomics)의 탄생으로 이어졌다. 컬처로믹스의 주요 연구 방식은 시간에 따른 단어의 변화를 추적하는 것이다. 오랜 시간을 아우르는 구글 북스의 방대한 데이터는 인간과 주요 사물들을 색다른 시각에서 바라볼 수 있게 해준다.

데이터 과학은 이미 사람들의 삶의 방식을 설명하는 수준에서 나아가 삶 자체를 바꿀 수 있는 깊이 있는 연구 결과를 내놓고 있다. 앞서 2008년 도입돼 현재 25개국이 넘는 곳에서 초기 전염병을 추적하는데 쓰이는 구글 독감 트렌드에 대해 언급한 바 있다. 비록 완벽하지는 않지만 아직 시작일 뿐이다. 이미 통합 데이터는 질병의 피해를 최소화 하는 데서 한발짝 더 나아가 질병을 예방하는 데까지 쓰이고 있다. (312쪽)

이 책의 원제는 '데이터클리즘'(Dataclysm)으로 이는 '데이터'(data)와 '대변동'(cataclysm)을 조합해 만든 단어다. 저자는 "사생활 보호와 서비스 이용 사이에서 어떤 균형을 택할 것인지는 스스로 결정해야 한다. 문제는 곧 '이 서비스를 사용할 것인가, 말 것인가?'라는 양자택일적 질문으로 선택지가 바뀔 수 있다는데 있다"며 "데이터 분석 능력이 너무 강해지고 있으므로 숨기고자 하는 노력은 별 쓸모가 없어질 수도 있다. 아직 몇년치 데이터밖에 없는데도 알고리즘은 별것 아닌 정보를 가지고 어떤 사람의 많은 부분을 추론해낸다. 곧 '개인정보 설정, 관리' 메뉴 같은 어중간한 조치로는 아무런 보호도 할 수 없게 될 것"(318쪽)이라고 본다.

빅데이터 활용의 증가에도 불구하고 나의 의사와 무관하게 나의 모든 정보들이 수집되고 분석된되고 있다는 것은 대단히 불쾌하고도 위험스러운 일이다. 중요한 것은 데이터 활용의 목적을 분명히 하는 것이다. 저자는 "우리는 데이터 홍수를 일으켰다. 익사할 것인가, 떠오를 것인가?"라는 질문을 던진다. 그는 "데이터를 홍수에 비유했을 때 아직은 물이 소용돌이 치고 있다. 아마 우리는 소용돌이가 잠잠해지고 난 후에야 수위를 재고 풍부한 물을 활용할 수 있을 것"이라며 "물이 잠잠해지기를 기다리는 동안 데이터를 모으고 분석하고 활용하는 사람들은 자신이 하는 일의 가치를 증명하고 현재 하는 일에 대해 명확히 밝혀야 한다. 그렇게 하지 않는다면 내 모든 핑계에도 불구하고 이런 일을 해서는 안된다는 말이 옳을 수 밖에 없다"(318쪽)고 했다.

데이터 시대는 이미 시작됐다. 현재 우리는 기록되고 있다. 모든 변화가 그렇듯 두려운 일이다. 하지만 차가운 회색 정부와 물리치기 힘든 핫핑크색 상업주의 사이에는 지나치게 화려하지도, 닫히지도 않은 길이 있다. 바로 조종이 아닌 지식을 위해, 감시가 아닌 탐구를 위해, 억제가 아닌 보호를 위해, 노출이 아닌 이해를 위해 그리고 무엇보다 우리의 삶을 공유함으로써 세상이 우리에게 준, 값을 매길 수 없이 귀중한 선물에 보답하고 더 좋은 삶을 만들기 위해, 또한 길가메시와 람세스의 시대부터 오늘날까지 이어져 온 자신의 이름을 비석이 아닌 기억의 일부로 남기고자 하는 모든 이들의 오래된 소망을 이루기 위해 데어티를 이용하는 길이다. (323쪽)