슈퍼크런처라는 말과 하는 일에 대해서는 이 책을 통해서 처음 접했다. 디지털기술과 관련하여 슈퍼유저, 슈퍼바이저라는 익히 들어와서 그 개념이 어느 정도 잡혀 있지만 슈퍼크런처는 책제목만으로는 내용을 상상하기 쉽진 않았다.

읽기 시작한지 얼마 되지 않아 ‘아하~’라고 하면서 슈퍼크런처의 존재에 대해 이해할 수 있었다. 수치화된 데이터로 세상을 읽는 사람, 현상을 파악하는 사람, 또는 미래를 예측하는 사람이라고 보면 될 듯하다. 슈퍼크런처의 단어는 생소하지만 사실상 그들의 역할은 우리의 생활과 밀접하고, 보이지 않아 느끼지 못했을 뿐 오래 전부터 우리의 곁에 있는 존재라고도 할 수 있을 것이다. 최근에 더욱 더 그들의 활동이 더욱 세밀해 지고, 더욱 활발해 지고 있는데, 이 책을 통해서 그들의 활약상을 파악할 수 있다.

우리의 생활에서 슈퍼크런칭을 접할 수 있는 것이 있다면 개인맞춤정보를 제공하는 인터넷쇼핑몰이나 인터넷서비스제공업체의 웹사이트일 것이다. 웹사이트에서의 나의 활동이력을 파악하여 나에게 맞는 정보, 상품 등에 대한 정보를 전달해 주기 때문이다.

실제로 이 책을 통해서 슈퍼크런처의 광범위한 활동 등을 볼 수 있는데, 정부의 정책, 의사의 진단과 처방, 기업에서의 고객 응대 등에서 슈퍼크런칭 기법을 사용하고 있다. 과거의 방대한 데이터로 회귀분석 등을 하여 효과적인 정책 시행을 유도하거나, 의사의 정확한 진단과 처방 등이 가능하도록 하게 한다. 심지어는 개인의 카드사용 성향을 슈퍼크런칭해 보면 그 개인의 이혼 가능성을 판단할 수 있다고 한다.

더 놀라운 것은 장래가 촉망되는 야구신인을 찾는 일, 와인의 값어치를 판단하는 일, 영화 대본만으로 영화의 흥행수입을 비교적 정확하게 판단하는 일을 슈퍼크런칭 기법으로 가능하다는 것이다. 해당 분야의 오랜 경험과 노하우를 가지고 있는 전문가의 직관이나 감이 중요했던 영역에서까지 슈퍼크런처들의 역할이 대두되고 있다는 것이다. 그래서 자신들의 밥줄이 달린 전통적인 전문가들은 슈퍼크런처들에게 강한 반감을 가지고 있기도 하다. 하지만 선입견이나 감정개입이 없는 슈퍼크런처들의 데이터분석에 의한 판단은 전문가들의 판단을 앞서고 있다.

미래를 예측함에 있어 슈퍼크런처들의 데이터분석이냐 전문가들의 직관이냐를 대립하는 분야들이 아직은 많지만 대세는 슈퍼크런처의 역할이 점점 커진다는 것이다. 저자는 슈퍼크런처 혁명을 예견하고 있다. 하지만 저자는 전통적인 전문가와 슈퍼크런처의 대립양산에는 반대하고 있다. 이 둘은 서로의 단점을 보완해 줄 수 있는 훌륭한 수단이 되는 것이다.

전통적인 전문가들이 선입견이나 개인의 감정으로 판단의 오류가 발생할 수 있듯이 슈퍼크런처들도 잘못된 데이터, 잘못된 가설 등으로 결과에 오류가 발생할 수 있기 때문이다.

개인의 모든 것이, 세상의 모든 것이 수치화되어 디지털 데이터로 쌓이는 세상에 살고 있다. 그 데이터들로 각 개인의 미래를, 세상의 미래를 예측할 수 있는 것이다. 그리고 우리의 상상을 초월하는 분야에서도 응용될 것이고 지속적인 발전을 거듭하면서 ‘인터넷혁명’처럼 인간의 역사에 혁명이라는 자취를 남길 수 있다. 슈퍼크런처들의 활약은 우리의 생활을 더 풍요롭게 할 수 있는 반면 역효과의 부작용도 존재한다는 것도 간과해서는 안 될 듯하다.

우리 나라 IT 시장의 특징중에 하나는 트렌드를 대표하는 대표 키워드가 항상 있었다는 것입니다. 

예전에 인공지능이 유행할 때는 밥솥, 냉장고, 세탁기에도 "AI" 라는 문구가 빠지지 않았고, 얼마 전에는 "온톨로지", "시멘틱 웹", "웹 2.0", "클라우드 컴퓨팅" 같은 키워드들이 이 트렌드를 이끌어가고 있었습니다. 

가장 최근의 화두는 "빅데이터"지요. 

그런데, 대용량 데이터를 기반으로 마이닝을 통해 정보의 의미를 판단하는 일은 어느날 갑자기 툭 튀어나온 기술이 아니라 예전부터 존재하던 기술이었습니다. 

이 책은 "빅데이터"가 키워드로 떠오르기 이전에, 데이터 분석을 통한 유의미한 결과를 도출해내기 위한 연구들이 존재했었고, 그들이 지금의 "빅데이터"를 예측했었다는 것을 보여줍니다. 

슈퍼크런처라는 개념을 통해, 수집된 데이터 안에서 통계에 기반한 유의미한 의미 도출의 가능성을 보고, 그것을 실현시키기 위해 어떤 노력들이 있었는지... 오늘의 "빅데이터" 이전의 "빅데이터 관리"에 대한 내용이 재미있게 기술되어 있습니다. 

빅데이터에 관심을 갖고 있는 독자라면, 반드시 읽어봐야 할 책이라고 생각됩니다. 

   자랑을 하나 할까 한다. 해외 전시회를 참가해서 국내에 수입해 들여올 아이템을 찾는 것을 주 업무로 하는 직장에서 해외업무를 담당하다 보면 같이 출장을 가는 상사나 선배들의 감(感)에 어느 정도 의존하는 일이 많다. 전시회 부스에 전시된 아이템을 멀리서 바라만 봐도 “이거다!” 라는 느낌이 딱 온다는 직장 상사의 뒤를 따라 브로슈어와 카달로그로 가득 찬 샘소나이트 가방을 끌고 다녔던 나는 이번 두바이 출장 전(前), 본의 아니게 데이터를 정리하는 업무를 맡게 되었다. 두바이라는 곳과 북아프리카/중동 시장이 아직은 낯선 터라, 우선 전시회 리서치 업무를 먼저 하게 되었다.

   전시회에 참가하는 600개가 넘는 업체의 프로필 파일을 다운받아서 프린트한 뒤, 전시품목과 주된 비즈니스 카테고리에서 지금 근무하는 회사의 주된 품목 키워드와 비즈니스 카테고리와 유사한 업체를 먼저 걸러냈다. 그래서 걸러낸 100여 군데 업체의 웹사이트를 하나하나 뒤져서 회사 프로필과 제품 목록 분석을 통해 앞으로의 비즈니스 전망과 협력 가능성이 높다고 판단되는 업체를 15개 사로 압축했다. 전시회장 사이트에서 다운받은 맵(map) 파일에서 선정된 업체부스 위치를 표시해서 전시회장을 이동할 동선을 그려 넣었으며, 업체 담당자에게 먼저 메일을 보내 회사 소개를 하고 미팅 의사를 밝혔다. 비즈니스 미팅 시간을 평균 30분에서 1시간으로 잡는다면, 이틀 동안의 전시회에서 실질적인 미팅을 할 수 있는 회사는 10여 곳이 안 되었다. 그리고 기존 거래처 사람들도 만나야 한다. 차장급 이상의 ‘짬’ 을 먹은 ‘분’ 들을 따라다니며 전시장의 모든 부스를 수차례 돌면서 ‘감’으로 업체를 발견해 내는 스타일의 출장이 아닌, 사전에 추출하고 분석한 데이터를 통해 최적의 업체를 미리 골라내서 이들과의 미팅에 중점적으로 시간과 에너지를 쏟는 출장이었다. ‘감’ 좋은 ‘분’들이 중동의 뜨거운 6월을 피하고 싶으셨는지, 젊은 30대가 주축이 된 인원으로 출장 명단이 꾸려진 덕분에 새로운 스타일을 시도해 볼 좋은 기회였다.

   출장 복귀 후, 2주가 다 되어가는 지금, 데이터에 기초해서 선정된 업체를 ‘확인사살’ 해서 업무를 진행하는 스타일이 감에 의존해서 저인망 식으로 두루 업체를 훝는 방식에 비해 훨씬 나은 성과를 거두고 있음이 입증되고 있다. 미팅을 가진 업체 중 70% 이상이 형식적인 인사와 답장 메일을 넘어, 제품의 가격리스트와 활발한 견적서를 주고 받고 있다. 독점 배급권 이야기가 벌써부터 오고 가는 업체도 있다. 책상 위에 산더미 같이 쌓인 프린트 종이의 바벨탑들 속에서 허우적댈 때는 입에서 ‘이쒸 이쒸’ 하는 소리가 기관차 찜통처럼 푹푹 흘러나왔지만, 데이터를 수집하는 과정을 통해 얻은 정보를 기반해서 업무를 진행할 때, 그것이 전문가와 숙련직원의 ‘감’에 의해 진행된 업무를 뛰어넘는 성과를 거두고 있음이 눈 앞에서 증명될 때, 앞으로도 계속 파일링(filing)의 홍수 속에서 진주를 캐내는 작업을 계속 할 것 같다. 이 모든 과정을 학문적으로 알고 싶거나, 간접 경험을 통한 습득을 원한다면 예일대 경영학 교수인 이언 에어즈가 쓴 “슈퍼 크런처(Super Crunchers)” 를 손에 들고 읽으면 된다.

시대가 점점 발전함에 따라 예전보다 축적되는 '데이터'의 양이 무척 방대해졌다.

물론, 기술의 발전이 있었기에 보다 축적에 용이하게 된 것도 슈퍼크런처가 나올 수 있게 되었다.

경중의 차이는 있을지언정, 분명 예전시대부터 슈퍼크런처는 존재했으리라 생각된다.

다만, 현재와 같이 기술의 힘을 빌려 보다 명확한 자료를 제시하지는 못하였지만, 나름의 방법으로 데이터를 축적, 가공하여 미래를 예측하였으리라 사료된다.

이 책에서 말하고자 하는 것은 그냥 지나칠 수 있는 모든 데이터들을 자세히 관찰, 분석하면 전문가 못지않은, 아니 변수 확립만 확실하다면 전문가를 능가하는 평가 혹은 예측을 할 수 있다고 하는 것이다.

어쩌면, 전문가들의 몰락을 시사하는 바도 있지만, 그 부분에 대해서는 나 또한 적극적인 공감이 가지 않는 바, 언급하지 않으려고 한다.

데이터를 다뤄본 사람들은 내가 지금 말하려는 사실에 일정부분 공감을 가질수도 있을 것이다.

이 책에서 말하는 슈퍼크런처, 책에서 언급하는 회귀분석을 하다보면, 같은 데이터를 가지고도 어느 정도(?) 다른 결과치를 추정할 수 있다.

즉, 결과치를 조작(?)할 수도 있다는 뜻이다.

물론, 어떠한 이해관계도 없는 분석이라면, 원류에 가까운 결과가 나올 것이다.

하지만, 이해관계에 따라서 결과치는 달라진다.

사람이기에 명확한 수치와 두루뭉실한 통계용어를 들이밀면 대부분은 수긍을 하는 경향이 짙다.

예를 들어, '~~의 결과는 5%미만의 오차를 가지고 있고, ~~하여 유의하지 아니하다 말할 수 없다'란 말이 무엇을 뜻하는지 같은 언어를 사용하는 사람도 헷갈린다.

물론, 저자가 말하고자 하는 바는 알고 있으나, 나는 숫자를 다루는 사람들을 너무 믿지 말라고 말하고 싶다.

원데이터를 볼 수 없다면, 나머지 숫자는 모두 '참고'만 하는 수준에 그쳐야 할 것이다.

마지막 페이지에 있는 문구를 명심해야 한다.

그 아무리 훌륭한 분석기법을 쓴다 할지라도 인간이 개입하지 않으면 어떤 결과도 나올 수 없다.

그렇기에 단순히 결과만 볼 것이 아니라, 인간이 개입된 부분이 어디인지 함께 파악하여 비교,분석하는 것도 향후 분석데이터를 볼 때 도움이 될 듯 하다.

작년 봄이던가, 우연히 인터넷 서점과 온라인 신문기사 등을 통해 이 책의 소개를 접했을 때 무척이나 읽고 싶었다. 내가 하고 있는 일들과 딱 맞아 떨어지는데다가 통계나 분석 관련해서는 개인적으로 관심과 취미가 무척 많았기 때문이다. 그러다가 인터넷 서점에서 이 책을 구매하려고 책 제목으로 검색을 해보았지만 나오지 않았다. 그 뒤로 몇 개월이 지난 후 지난 번 이 책을 키워드 검색할 때 책 제목의 철자를 잘못 입력했다는 사실을 알게 되었다. 그래서 지난 여름 무렵 이 책을 손에 접하고 단숨에 읽어 내려갔다. 역시 관심과 흥미가 많은 분야라서 술술 읽어나갈 수 있었다. 이 책을 처음 접하며 놀라웠던 것은 이 책의 원저는 지난 2007년에 출간된 것이란 사실이다.

또한 지금에 와서 서평을 쓰기 위해 저자의 약력을 좀 더 자세히 알아보니 매우 흥미로운 사실들이 많았다. 고등학교 때부터 유명한 고교 신문 편집장으로 글솜씨를 자랑했으며, 예일대학교를 우등 졸업하고, 예일 법과대학원을 거쳐 MIT에서 경제학으로 박사학위를 받았다고 한다. 고등학교 다닐 당시 좋은 대학에 지원하기 위해 PSAT를 볼 때 인종란에 자신의 원래 인종인 백인이라고 하지 않고 흑인이라고 표기했다가 발각되서 우등상 받은것을 취소당했다는 이야기도 전해진다. 그 당시 백인보다 흑인에게 유리하게 작용한 입학 전형이 부당하다고 생각했기 때문에 흑인이라 했다고 한다. 게다가 학부때 복수전공으로 러시아어를 공부했는데, 냉전당시 적국이었던 러시아를 더 잘알기 위해서였다고 한다.

저자는 현재 예일대 법대와 경영대 교수인데, 여러 분야에서 이름을 알리고 있다. 이를테면 어떤 한 영역에서 효과가 있었던 개념이나 기술이 성공적으로 응용될 다른 영역을 찾아보는 몇 가지 방법들을 제시해 혁신적인 아이디어 개발틀을 소개한 "Why Not?: How to Use Everyday Ingenuity to Solve Problems Big and Small" 같은 책을 썼다던가, 작년 한 해 베스트셀러로 큰 인기를 끌었던 책 "넛지(Nudge)"에서 언급되어 있지만 스틱닷컴(StickK.com)을 만들어 계획하는 자아가 행동하는 자아를 통제하게 만드는 방식을 실천하도록 웹사이트도 만들었다. 또한 저자는 몇 년전 베스트셀러였던 "괴짜경제학(Freakonomics)"에서도 총기휴대를 통해 범죄율을 줄일 수 있다는 이론에 대한 반증을 제시한 인물로 등장한다.

어찌되었건 이렇게 유명세를 타고 있는 저자가 매우 재미있는 책을 펴낸 것이다. 제목부터가 좀 특이하다. 슈퍼크런처(Super Crunchers)란 무엇을 의미하는가? 보통 크런치바 같은 광고로 크런치(crunch)란 말이 아삭아삭 씹을 때 나는 소리를 의미한다는 것은 쉽게 연상이 되지만, 컴퓨터 분야에서는 많은 양의 정보를 고속으로 처리한다는 뜻도 담겨져 있다. 컴퓨터가 수치화된 자료를 처리하기 때문에 보통 넘버 크런칭(number crunching)이라고도 하며, 이것은 바로 많은 자료를 고속으로 처리한다는 뜻이 된다. 이 책에서 슈퍼크런처는 대규모 데이터 세트를 통계적으로 분석해서 외관상 무관한 일들 사이의 경험적 상관관계를 발견하는 새로운 부류의 넘버크런처라 정의하고 있다.

이 책은 프롤로그부터 슈퍼크런처의 힘을 느낄 수 있는 흥미진진한 스토리가 전개된다. 웰빙 바람을 타고 전세계적으로 뜨고 있는 와인 열풍과 맞물려 와인전문가들과 한판 붙어 슈퍼크런처가 이긴 사연을 소개해주고 있기 때문이다. 더욱 놀라운 사실은 와인의 품질을 예측할 수 있는 수학공식이 소개되고 있다는 것이다. 이 수학공식으로 산출한 와인의 품질은 와인전문가들이 감으로 평가하는 것보다 더 정확하다는 것이다. 품질로 가격이 매겨지는 와인 특성상 이 부분은 업계에서 꽤 민감하게 작용할 것이다. 그래서 와인 비평가나 전문가들은 데이터를 중심으로 삼는 이 품질 예측을 수용하지 않는다고 한다.

하지만 슈퍼크런처가 만든 방정식에 의해 산출된 결과와 전문가들의 예측이 점점 비슷해지고 있기에 언젠가는 데이터 중심의 통계학에 의해 산출된 공식에 수긍할 것이란 말도 덧붙이고 있다. 사실 와인 전문가들은 직접 입 안에서 와인을 돌린 후 밷어내는 방식을 통해 와인을 평가하는 반면, 슈퍼크런처들은 수십년에 걸친 프랑스 보르도 지방의 날씨 데이터를 활용해 포도수확기의 강수량이 적고 여름철의 평균 기온이 높을 때 최상의 와인이 탄생한다는 사실을 발견하여 방정식을 만들었다고 한다. 또한 이 책에서는 야구에서 안타수와 볼넷수 등으로 득점창출 공식을 만든 사례도 언급하고 있다.

이른바 야구수치 분석은 이미 잘 알려진 세이버매트릭스라는 통계 분야를 창출하기에 이르렀다. 어쨌든 이 책은 직관적이고 경험적인 전문지식을 가진 전문가와 정량 데이터를 가지고 수치분석을 하는 슈퍼크런처와의 전쟁을 다루고 있다. 사실상 그 전쟁에서 슈퍼크런처가 승리하고 있다는 것이다. 이를테면 법원 판결을 예측하는 시합을 한 결과 전문가들의 패배로 끝이 났다고 한다. 통계 모델이 법원의 찬반 결론을 정확히 예측한 비율은 75%에 달하는데 반해, 법률 전문가들의 예측이 들어맞은 경우는 59%였다고 한다. 수십년간 사회학자들은 슈퍼크런처들과 전통적인 전문가들의 예측이 얼마나 정확한지 비교해왔는데, 슈퍼크런칭이 더 정확한 것으로 드러났다는 것이다.

그 이유도 통계학적으로 설명하고 있다. 통계학의 여러가지 기법들 중 회귀방정식은 어떤 요소에 더 비중을 두어야 하는지 파악하는 일에 대해서는 인간보다 훨씬 더 뛰어나기 때문에, 두세가지의 변수만을 갖춘 아주 조약한 회귀분석이라도 해도 인간의 예측을 능가할 수 있다는 것이다. 더군다나 자기중심적인 전문가들과 달리, 통계적 회귀분석에는 자존심이나 감정이 개입되지 않는다는 이점도 존재한다는 것이다. 이러한 통계분석은 책 제목을 정하는데도 사용하고, 기업에서 적절한 직원을 선발하는데도 사용할 뿐만 아니라 기업의 광고와 가격 책정부터 의사들의 의료 행위에 이르기까지 수많은 분야에 활용되고 있다고 강조한다.

말하자면 슈퍼크런칭으로 대표되는 데이터마이닝과 통계 분석은 우리 삶 전반에 영향을 미치고 있다는 것이다. 특히 이런 슈퍼크런처들 때문에 이른바 전문가 집단으로 알려진 의사나 변호사 등의 지위는 점점 추락하고 있다고 한다. 사람들은 이제 단순히 정보를 전파해주는 의학박사들 대신 데이터베이스를 창출하여 정보를 찾아내는 여타 분야의 박사들에게 눈을 돌리고 있다는 것이다. 과학분야에서 박사과정을 공부하는 학생들은 박사논문을 쓰기 위해 실제로 정보를 창출해야 하는 반면, 의대생들은 그저 다른 이들이 만든 정보를 암기만 하면 된다면서 전문가들의 가치가 절하되어 가는 현상을 언급하고 있다.

그러나 슈퍼크런처도 문제는 있다. 예를들어, 대규모 데이터 세트를 회귀분석을 실행시킬 수 있는 형태로 만들기 위해서는 말 그대로 수백번의 데이터 조작을 가해야 한다고 말한다. 프로그래머가 그러한 변환 과정에서 어느 한 가지라도 실수를 범할 경우, 최종 예측은 부정확해질 것이다. 당연히 넘버크런처들은 오류를 범할 수도 있으며, 실제로 오류를 범하기도 한다는 말이다. 즉, 넘버크런처들이 절대적으로 신뢰할 수 있는 예언자는 아니라는 점을 강조한다. 그래서 이 책은 슈퍼크런칭이 직관을 대신하는 것이 아니라 보완하는 것이란 말로 맺음말을 대신한다. 즉, 미래는 직관과 슈퍼크런칭 이 두가지 모두에 능통한 사람들의 것이란 말이다.

이 책이 나에게 큰 관심을 끌었던 이유 중에 하나는 몇 년 동안 유비쿼터스 관련 IT업무들을 수행하면서 점점 더 많은 데이터들을 어떻게 처리하고, 어떻게 활용할 것인가를 항상 고민해왔기 때문이다. 이 책에서도 나노센서와 스마트 더스트 같이 소형화 된 센서를 통한 디지털 도메인의 정보수집 능력이 지속적으로 발전하면서 도래할 수 있는 대용량의 데이터 처리와 분석 문제를 언급하고 있다. 관련 업계에서는 인수합병 등을 통해 전문화된 통계 분석, 데이터 마이닝 능력들을 계속 키워나가고 있다. 주로 경영분야의 위험예측 등 BI(Business Intelligence)에서 시작한 이 분야는 점차 많은 부분으로 확대되고 있는 실정이다.

전체적으로 이 책에서는 수치를 바탕으로 한 통계학의 위력을 알리는데 주력하고 있는 듯 보인다. 특히 이 책의 핵심 논점은 사회과학 방법론을 학계에서 현실세계로 전파시키는 것이라고 저자는 말하고 있다. 하지만 내가 알고 있고, 겪어본 사회과학 방법론은 그다지 견고하지 못하다. 자연과학 분야에서 수치로 대표하는 것과 사회과학에서 수치로 대표하는 것 사이에는 많은 차이점이 있다는 것이다. 오늘날 특히 불확실성 시대에 살아가고 있는 수많은 사람들에게 무엇인가 예측하고 분석할 수 있는 도구가 주어지는 것은 어찌보면 강력한 무기를 주는 것일수도 있다. 하지만 예측은 예측일 뿐이다. 수치로 대변하지 못하는 것들이 이 세상에는 더 많을듯 싶다.

정말 기다리던 책이 나왔군요.

전문가들의 영역인 와인의 맛조차 수치와 데이터로 훨씬 더 정확하게 맞춘다는 내용으로 시작하는 이 책은 정말 충격적입니다.

나중에는 할리우드의 영화조차 배역, 감독이 정해지기 전에 각본 단계에서 예상 수익률을 낼 수 있는 프로그램에 대한 소개도 나오는데요, 그 내용도 매우 흥미롭습니다.

솔직히 말하면 경영서라기 보다는 흥미로운 상식에 관한 도서라고 할 수 있습니다.

경영에 도입하려면 회귀분석을 할 생각도 있어야 하고,

데이터도 모아야하니까요.

허긴 당장 구글만 이용해도 어떤 단어가 사람들에게 더욱 친숙한지를 알 수 있으니 실용성이 전혀 없는 내용은 아닙니다.

기존의 상식과 권위를 뒤흔드는 새로운 통계와 회귀분석의 위력을 느껴보시기 바랍니다.