사람들의 정보 검색 그 자체가 정보다. 그들이 언제 어디에서 사실, 인용구, 농담, 장소, 사람, 물건, 도움을 검색하는지는 그들이 정말로 어떤 생각을 하고, 어떤 욕망을 가지며, 무엇을 두려워하고, 무엇을 하는지에 관해 막연한 추측보다 훨씬 많은 것을 이야기해준다. 사람들이 때로 구글 검색창에 질문이 아닌 고백을 할 때는 말할 것도 없다. ‘사장이 끔찍하게 싫어요’ ‘완전히 취했어’ ‘아빠가 나를 때렸어요’와 같은 것들. 작고 네모난 빈칸에 단어나 문구를 입력하는 일상적인 행동은 작은 진실의 자취를 남기며 이 자취 수백만 개가 모이면 마침내 심오한 현실이 드러난다.
---「서론: 빅데이터 혁명의 개요」중에서

구글 검색이 그토록 귀중한 가장 큰 이유는 데이터가 많기 때문이 아니라 사람들이 솔직한 생각을 내놓기 때문이다. 사람들은 친구, 연인, 의사, 설문조사원은 물론 자기 자신에게도 거짓말을 한다. 하지만 구글에서는 섹스 없는 결혼생활, 정신건강 문제, 불안감, 흑인을 향한 적대감에 관해 다른 곳에서는 내놓기 힘든 정보를 공유한다.
---「서론: 빅데이터 혁명의 개요」중에서

들은 것이나 개인적인 경험에만 의존하면 세상이 어떻게 돌아가는지에 관해 틀리게 생각하기 쉽다. 좋은 데이터과학의 방법론은 직관적이지만, 그 결과는 직관에 반할 때가 많다. 데이터과학은 자연적이고 직관적인 인간의 행위에 따라 패턴을 발견하고 이해하는 과정을 거친다. 그러고는 이를 한층 강화시켜 우리에게 세상이 우리 생각과는 완전히 다른 방식으로 돌아간다는 점을 보여준다.
---「1장. 직감은 불완전하다」중에서

빅데이터를 통해 우리는 사람들이 원한다고 말하는 것, 하고 있다고 말하는 것이 아니라 사람들이 정말로 원하고, 정말로 하고 있는 일이 무엇인지를 볼 수 있다. 솔직한 데이터 제공이 빅테이터의 두 번째 힘이다. 지금은 데이터가 워낙 많기 때문에 작은 규모의 집단에 관한 유의미한 정보도 존재한다. 예를 들어 오이 꿈을 꾸는 사람의 수와 토마토 꿈을 꾸는 사람의 수를 비교할 수 있다. 작은 집단도 클로즈업해서 볼 수 있는 것이 빅데이터의 세 번째 힘이다. 빅데이터에는 강력한 힘(프로이트에 관한 내 짧은 연구에서는 사용되지 않았지만 미래의 연구에서는 사용될 수 있는 힘)이 하나 더 있다. 빠르게 대조군 실험을 할 수 있다는 점이다. 이로써 단순히 상관관계만이 아니라 인과관계도 확인할 수 있다. 이런 유형의 검증은 현재 기업이 많이 사용하고 있지만 곧 사회과학자들에게도 강력한 도구가 될 것이다. 인과적 실험의 실행 가능성이 빅데이터의 네 번째 힘이다.
---「2장. 프로이트가 옳았을까?」중에서

세이더와 그의 팀이 85번에 그토록 집착한 데에는 이유가, 그것도 명명백백한 이유가 있었다. 85번의 좌심실이 백분위수 99.61에 들었던 것이다. 그뿐이 아니었다. 심장과 비장을 비롯한 다른 주요 장기들 모두가 유난히 컸다. 세이더가 발견한 바에 따르면 일반적으로 경주할 때에는 좌심실이 클수록 좋다. 하지만 다른 장기는 다 작은데 좌심실만 이 정도로 크다면 질병의 징후일 수도 있다. 아메리칸 파로아는 모든 주요 장기가 평균보다 컸고 좌심실이 거대했다. 데이터는 85번이 10만 마리 중에, 아니 100만 마리 중에 하나 나올까 말까 한 말이라고 외치고 있었다.
---「3장. 데이터를 보는 새로운 눈」중에서

도대체 누가 여자아이에 대한 편견을 만들까? 바로 부모다. 부모는 아이에게 뛰어난 재능이 있다는 생각에 종종 흥분한다. 놀라운 일은 아니다. 사실 ‘두 살 난 내 아이가 ……’로 시작하는 모든 구글 검색에 따라붙는 가장 흔한 말은 ‘재능이 있어요’다. 하지만 이런 질문은 남자아이와 여자아이에게 똑같이 하지는 않는다. 부모는 ‘내 딸이 재능 있나요?’보다 ‘내 아들이 재능 있나요?’라는 질문을 2.5배 많이 한다. 지능과 관련된 문구를 사용할 때도 비슷한 편견이 나타난다. 이를테면 ‘내 아들이 천재인가요?’ 같은 대놓고 물어보기에는 쑥스러운 문구가 그렇다.
---「4장. 디지털 자백약」중에서

2003년 통계학자 네이트 실버는 선수의 성적을 예측하는 새로운 모델을 내놨다. PECOTA라는 이름의 이 모델은 매우 정확했다. 실버는 선수의 도플갱어를 찾았다. 그는 1만 8,000명이 넘는 모든 메이저리거의 데이터베이스를 구축했다. 그 안에는 키, 나이, 포지션, 홈런, 타율, 볼넷 출루, 삼진아웃 등 매년 선수의 성적과 관련해 알려진 모든 것이 포함됐다. 이제 오티즈가 24, 25, 26, 27, 28, 29, 30, 31, 32, 33세였을 때 그의 성적과 가장 비슷한 야구선수 스무 명을 찾는다. 그 나이에 그와 비슷한 플레이를 했던 도플갱어를 찾는 것이다. 그러고 이 도플갱어들의 야구 경력이 어떠했는지를 확인한다.
도플갱어 찾기는 데이터 클로즈업의 또 다른 사례다. (중략) 실버는 이 도플갱어들이 결국 어떤 성적을 냈는지를 근거로 오티즈의 성적을 예측했다. 실버는 이들이 힘을 되찾았다는 사실을 발견했다. 다른 것에 관해서라면 나이 들수록 맛이 간다는 시먼스의 말이 맞을지 모르지만 오티즈의 도플갱어들은 나이가 들면서 기량을 되찾았다.
---「5장. 클로즈업」중에서

A/B 테스트는 일반적인 교훈을 경계하라는 교훈을 준다. 뉴스· 엔터테인먼트 사이트, 랭커닷컴ranker.com의 CEO 클라크 벤슨Clark Benson은 주로 A/B 테스트에 의존해서 표제와 사이트 디자인을 선택한다. 벤슨은 말한다. “아무것도 가정할 수가 없습니다. 문자 그대로 모든 것을 테스트해야 합니다.”
---「6장. 온 세상이 실험실」중에서

어떻게 하면 차원의 저주를 극복할 수 있을까? 자신의 연구에 대해 겸손해야 하고 자신이 찾아낸 결과와 사랑에 빠지지 말아야 한다. 결과에 대한 추가 실험을 실시해야 한다. 평생 번 돈을 391번 동전에 걸기 전에 다음 몇 년 동안 결과가 어떻게 나타나는지 살펴야 한다. 사회과학자들은 이것을 ‘표본 외’ 실험이라고 부른다. 더 많은 변수를 시도할수록 더 겸손해져야 한다. 시도하는 변수가 많아질수록 표본 외 실험은 어려워진다. 시도하는 모든 실험을 기록하는 것 역시 중요하다. 그런 다음에야 이 저주의 희생자가 될 가능성이 얼마나 높은지, 결과에 대해서 얼마나 많은 의심을 가져야 하는지 정확히 알 수 있다.
---「7장. 빅데이터로도 할 수 없는 일」중에서

이제 변화가 일어날 것이다. 이 책에서 내가 이야기한 모든 아이디어에는 도전을 받아들일 준비가 되어 있는 수백 개의 중요한 아이디어가 딸려 있다. 여기에서 논의한 연구는 빙산의 일각 중에서도 일부, 표면에 생긴 작은 얼룩 중에서도 가장 작은 얼룩에 불과하다. 이제 어떤 일이 일어날까?

<b>사람의 생각을 연구하는 완전히 새로운 방법!<br/>빅데이터 시대의 여명을 밝힌 슈퍼베스트셀러</b><br/><br/>사람들은 거짓말을 자주 한다. 의사, 친구, 연인, 설문조사원은 물론 자기 자신에게도 거짓말을 한다. 기업 엔지니어의 40퍼센트 이상이 자신의 실력이 상위 5퍼센트 안에 든다고 말하고, 대학교수의 90퍼센트 이상이 자신은 평균 이상의 성과를 낸다고 말한다. 고등학교 졸업생의 4분의 1은 자신의 사교성이 상위 1퍼센트에 든다고 여긴다. 이렇듯 사람들은 친구, 연인, 의사, 설문조사뿐 아니라 자기 자신에게도 거짓말을 한다. <br/><br/>『모두 거짓말을 한다』에서 전 구글 데이터과학자 세스 스티븐스 다비도위츠는 검색 데이터를 이용해 사람들의 숨겨진 진짜 욕망과 생각을 탐사한다. 이 책은 2018년 출간 즉시 [뉴욕타임스] 베스트셀러가 되었고 그해 아마존닷컴, [이코노미스트], ‘PBS 뉴스아워’ 등에서 ‘올해의 책’으로 선정되었다. 이 책은 인종주의뿐 아니라 정신질환, 성생활, 아동학대, 낙태, 광고, 종교, 건강 등 다양한 주제에 걸쳐 인간의 충격적인 본성을 거침없이 보여준다. 그리고 우리가 지금까지 알았던 인간과 사회에 관한 지식 대부분이 자기 자신마저 속이는 거짓말로 왜곡되어 있다는 것을 알려준다.<br/><br/>·사람들은 섹스를 얼마나 많이 할까?<br/>·미국인 중 인종차별주의자는 실제로 얼마나 될까?<br/>·개인이 주식 시장을 조종할 수 있을까?<br/>·폭력적인 영화가 폭력 범죄 비율을 높일까?<br/>·부모들은 실제로 아들과 딸을 다르게 대할까?<br/>·남성 중 동성애자는 얼마나 많은가?<br/>·어떤 사람이 탈세를 하는가?<br/>·사는 곳에 따라 수명이 달라지는가?<br/>·광고는 효과가 있는가?<br/><br/><b>구글 검색이 그토록 귀중한 이유는 데이터가 많아서가 아니다. 사람들이 솔직한 생각을 내놓기 때문이다. </b><br/><br/>사람들은 다른 사람에게는 하지 않을 이야기를 구글, 네이버, 다음과 같은 거대 검색엔진에는 한다. 겉으로 드러나지 않을수록 밝혀지는 것도 많은데 대표적인 주제가 성생활이다. 구글에 드러난 결혼생활의 가장 큰 불만이 뭔지 알고 있는가? 섹스를 하지 않는 것이다. ‘섹스 없는 결혼생활’이 ‘불행한 결혼생활’보다 3.5배 많이 검색되고 ‘사랑 없는 결혼생활’보다 8배 많이 검색된다. 그리고 대화하지 않는 배우자에 대한 불만보다 성관계를 원하지 않는 배우자에 대한 불만이 16배 많다. 결혼하지 않은 커플도 마찬가지다. 문자메시지에 답을 하지 않는 애인보다 성관계를 원하지 않는 애인에 대한 불만이 5.5배 많다. 그리고 그 불만은 놀랍게도 남자친구보다 여자친구 쪽에서 두 배 많다. ‘게이 포르노’와 ‘게이 테스트’를 번갈아 검색하는 성정체성에 혼란을 보이는 사람들도 구글에 포착된다. 모두 전통적 설문조사에서는 감춰져 있던 모습이다. <br/><br/><b>모든 것이 데이터가 된다. 특히 거짓말이.<br/>말이 데이터다. 클릭이 데이터다. 링크가 데이터다. 오타가 데이터다. <br/>꿈속 바나나가 데이터다. 어조가 데이터다. 숨소리가 데이터다. <br/>심박이 데이터다. 비장의 크기가 데이터다. 사진 역시 데이터다. <br/>그리고 검색어는 그 무엇보다 많은 것을 드러내주는 데이터다.<br/><br/>계속 속을 것인가, 진실을 볼 것인가?<br/>검색창에 드러난 가장 사적인 욕망</b><br/><br/>사회과학 연구의 많은 부분이 사람들의 부정확한 보고 위에 세워진다. 실제로 많은 사람이 물리학, 생물학, 화학이 진정한 과학이고 심리학, 경제학, 사회학은 그렇지 않다고 생각한다. <br/><br/>데이터과학이 앞으로 무궁무진하게 활용될 수 있는 분야가 바로 사회과학이다. 데이터과학은 사회과학 이론을 검증 가능하게 만든다. 한 예로 2장 〈프로이트가 옳았을까?〉는 무의식적 욕구(특히 성적인 욕구)가 말실수로 드러난다는 ‘프로이트의 말실수’가 진짜인지 확인한다. 프로이트의 이론은 귀에 걸면 귀걸이, 코에 걸면 코걸이라는 비판을 받아왔다. 성적 욕구가 말실수로 새어 나온다는 ‘프로이트의 말실수’를 검증하기 위해 마이크로소프트 연구자들은 오타 데이터세트 4만 개를 모아 성적인 의미로 볼 수 있는 오타가 불균형적으로 많이 나타나는지 확인했다. 그 데이터세트에는 ‘rock’을 ‘cock(음경)’으로 ‘security’를 ‘sex(섹스)urity’라고 쓴 것도 있었지만 ‘window’를 ‘pindow’라고 쓴 것처럼 아무 의미 없는 실수도 있었다. 연구팀은 사람들과 똑같은 빈도로 문자를 바꿔 쓰는 로봇을 만들어 수많은 오타를 내보게 했고, 그 결과 성적으로 해석되는 실수는 우연으로 볼 수 있는 수준을 넘어서지 않음을 확인했다. <br/><br/>사회과학의 질문은 연구하기가 까다롭다. 폭력적인 영화가 개봉하면 범죄가 늘어날까? 광고는 효과가 있을까? 언론은 진보나 보수 쪽으로 편향되었을까? 거의 모든 주제에 관해 빅데이터를 모을 수 있게 된 지금은 데이터과학을 조금만 첨가하면 그 해답을 찾을 수 있다. 이제 더는 사람들이 ‘말하는’ 것에 의존할 필요가 없다. 새로운 데이터, 곧 수십억 명이 구글, 소셜미디어, 데이트 앱, 심지어 포르노 사이트에 남긴 정보의 흔적이 마침내 진실을 드러낸다. 이 디지털 광맥을 분석해 사람들이 정말로 무엇을 생각하고, 무엇을 원하는지, 그리고 그들이 정말로 무엇을 ‘하는지’ 알 수 있다.

사람의 생각을 연구하는 완전히 새로운 방법 전례 없는 방식으로 사람들의 심리를 들여다보면서 내 조국과 인류에 관한 선입견이 몇 번이고 뒤집혔다. 더할 나위 없이 흥미롭고 매력적인 책이다.

모든 학문 분야에서 빅데이터 분석이 유행할 것 오랜만에 정말 재미있는 경제학 책을 읽었다. 앞으로 모든 학문 분야에서 빅데이터 분석이 크게 유행할 것이라는 저자의 자신 있는 예측은 읽는 사람의 머리를 끄덕이게 한다.

세상을 바라보는 새로운 시선 『괴짜 경제학』 『머니볼』 모두 저리 가라 할 책. 빅데이터에 영리함이 더해지면 어떻게 세상을 비추고 움직일 수 있는지 보여주는 최고의 증거다.

무엇보다 새로운 사실을 드러내는 책 이 책은 빅데이터에 기반해 우리가 ‘문명화된 존재’라는 허상을 단숨에 벗겨낸다. 대단히 흥미롭고 충격적이고 때로는 소름 끼치며, 무엇보다도 새로운 사실을 드러내준다.