빅데이터란

빅 데이터의 개념을 소개하기 위해 이 책의 서장은 구글이 성취한 놀라운 독감확산예측 사례를 제시한다. 구글은 독감의 확산을, 특정 지역 어느 주에서 유행할 것이라는 수준까지 예측해냈다. 방법은 계절독감의 확산과 관련해 미국인들이 가장 많이 입력한 5천만 개의 검색어와 질병관리본부의 데이터를 비교, 특정 검색어의 빈도수와 여러 지역의 장기간에 걸친 독감 확산 사이의 상관관계를 찾아낸 것이다. 이렇게 해서 독감과 97%의 상관성을 갖는 검색어 45개를 찾아냈다. 기존의 모델이 환자 발생 1~2주 후에나 동작했던 것에 비해 이 모델은 실시간 예측이 가능하다. 전체 데이터를 사용할 수 있게 되자 정보의 방대함에 가려져 있던 세부 사항과 연결점을 찾아내는 일도 가능해졌다.

빅데이터의 사용 예는 이 책에서 사례로 제시하는 것들만 해도 막연한 상상력 넘어의 세계이다.   국제 금융 이체를 전문으로 하는 기업 Xoom은 Discover Card의 거래 횟수가 평균치보다 약간 상승하는 것을 감지하여 범죄 조직이 만든 거래를 실시간으로 발견했다. 샘플링으로 조사했다면 감지하지 못했을 패턴을 전체 데이터의 감시 체계 내에서 발견했다. 페어캐스트는 항공권 예약 판매 데이터의 사용권을 얻어, 1년 내내 미국 민간 항공의 거의 모든 노선의 전 항공편 전 좌석 정보에 기초해 미래의 항공 운임을 예측했다. 할인 소매점 타깃은 신용카드나 포인트 카드를 사용한 고객의 구매 패턴을 분석해 임신 예측 점수와 출산 일까지 근사치에 가깝게 맞추어 표적 마케팅에 이용했다.

인과성은 필요없다.  중요한 건 상관성. 

이제까지 우리는 작은 규모의 샘플 데이터의 틀 안에서 모든 현상의 인과성을 설명하는 과학적 사고 방식에 의존하여 살아왔는데, 이제 막 펼쳐지기 시작한 빅 데이터 시대는 우리가 사는 방식, 세상과 소통하는 방식에 도전한다는 것이 저자 빅토르 마이어 쉼버거와 케네스 쿠키어가 이 책에서 제시하는 핵심적인 철학이다. 인과성에 대한 집착을 일부 포기하고 단순한 상관성에 만족하는 일은 수백 년간 이어져온 관행을 뒤집는 일이며 의사 결정 방식이나 현실에 대한 이해 방식을 흔드는 일이라는 것이다.

양적 변화는 질적 변화를 일으킨다.

빅데이터의 핵심은 기존의 스몰데이터에서 요구되었던 데이터의 정확성, 행과 열의 반듯함 속데 갇힌 인간 사고의 한계를 벗어나, 데이터의 들쑥날쑥함과  불완전함을 허용함으로써,  더 많은 데이터를 예측에 이용할 수 있다는 것이다. 지금까지는 오류를 항상 문제 요소로 보고 없애려고 들었으나, 스몰데이터에서 빅데이터로의 이행은 이런 오류가 불가피한 것이니 받아들이는 법을 배워야 겠다는 근본적인 변화를 요구한다.

정밀성에 대한 집착은 정보가 궁핍했던 아날로그 시대의 발명품이다. 데이터가 희박할 때는 모든 데이터가 중요하므로 그 중 하나라도 분석을 망치지 않도록 극히 조심해야 했다. 이를 위해 인간이 수백년동안 개발해 온 각종 분류 체계와 인데스는 언제나 불완전했다. 불편한 도서관 장서 목록 카드가 그것이다. 빅데이터 시대에 분류 체계 대신 등장한 새로운 메커니즘은 태그이다. 태그는 음악, 영상, 이미지 등의 비텍스트 기반의 방대한 콘텐츠를 탐색하는 새로운 길을 열어주었다. 태양 아래 모든 게 줄과 열에 딱딱 맞아 들어가는 척하면서 야단 법석인 무균상태라는 거짓말에 대한 해독제이다.   이 세상에는 정확성의 철확으로는 꿈꿀 수 없는 것이 많다.

데이터 잔해

그렇다면 무엇이 빅데이터의 소스가 될까. 아직까지 딱히 그 용도를  찾지 못한 버려진 쓸모없는 데이터들까지 미래에 확장 가능한 고부가가치를 창출할 것으로 믿고, 수집한다는 것이 빅데이터 회사들의 철학이다.  확장 가능성을 염두에 두고 데이터를 수집하는데 가장 뛰어난 회사는 구글로, 예를 들어 구글의 스트릿뷰 자동차들은 사진뿐 아니라 GPS 데이타를 수집하고 지도 정보를 확인하며 심지어 wifi 네트워크 이름까지 불법적으로 모두 빨아들인다고 한다.  구글 스트릿 뷰 촬영용 차량 한 대가 지나갈 때마다 매순간 갖가지 수 많은 데이터가 축적됐다. 심지어는 사람들이 남기고 간 디지털 흔적인 데이터 잔해, 어디를 클릭하고 한 페이지를 얼마나 오래 보며, 마우스 커서는 어디를 배회하고, 무엇을 타이핑하는 지까지 수거해 재사용할 수 있는 방향으로 시스템을 설계한다는 것이다. 

구글의 뛰어난 음성 인식, 스팸필터링, 번역을 비롯한 많은 서비스의 배후에 있는 메카니즘이 데이터 잔해이다. 소비자와 검색엔진 사이에 찰라적 소통이 있고 나면 화면에는 웹사이트를의 목록과 광고가 쫙 나타난다. 전자책 단말기는 이용자의 독서 성향이나 습관에 관해 엄청난 양의 데이터를 수집한다.

데이터 잔해의 사용 예도 상상을 초월한다. 인터넷 이용자가 쓰고 버린 검색어 데이타를 수집해 실시간 경제지표를 판매하는 구글의 비즈니스 예측 서비스, 데이터가 드나드는 통로의 웹트래픽을 분석해 고객이 소비자 선호도를 서비스하는 히트와이즈, 물건을 배송하는 과정에서 우연히 수집된 전세계 제품소개에 관한 많은 정보를 이용하여 축적된 데이터를 비즈니스 및 경제 예측이라는 형태로 판매하는 로지스텍스 회사,  자신들의 네트워크를 거쳐간 자금이체 데이터에 기초해 GDP를 예측하는 세계 은행 간 자금이체 협의체인 SWIFT 등이 그것이다.  지금 위치 사업자들이 판매한 위치정보는 금요일 밤에 사람들이 어디에 모이는지 도로에 차들이 얼마나 천천히 움직이는지 등의 집결된 절보를 이용해 부동산 가치 평가와 게시판 광고의 가격을 정할 수 있다.

빅 데이터 시대의 새로운 위험 요소

세상은 우리를 끊임없이 감시한다. 아마존은 월요일 쇼핑 취향을 고른 월요일 브라우징 습관을 모니터 학교 트위터는 우리의 마음속에 있는 것을 알고, 페이스북은 사회적 인간 관계 정보까지 수집하고, 이동통신 사업자들은 누구와 이야기를 하는지 근처에 누가 있는지까지 안다는 저자의 글이 남의 나라 이야기가 아니다. 한 개인당 나라가 정해준 식별 id인 주민등록 번호로 개인의 모든 것을 ..할 수 있는 우리나라의 경우 개인 정보의 노출은 미국보다 심하면 심했지 덜하지는 않을 것이다.. 인터넷 시대의 사생활 위협은 빅데이터의 시대에 어떤 변화의 양상을 갖게 될까.

저자는 빅데이터가 사생활 보호의 위험 요소 뿐만 아니라 완전히 새로운 위험 요소인 '성향에 기초한 불이익'을 탄생시킬 수 있음을 우려한다. 마이너리티 리포트라는 영화에서처럼 행동하기도 전에 예측을 이용하여 벌을 주는,  공정 정의와 자유 의지라는 개념을 초토화시키는 일이 빅데이터 예측 시스템에 의해 생겨날 가능성이 있다는 것이다. 빅데이터를 제대로 통제하지 못하거나 데이터 의미를 착각했을 때 위험은 online 표적 광고 따위와가 비교도 안될만큼 위험한 것이라고 경고하면서,  과거의 통치자들이 어떻게 개인정보를 탄압에 사용해 왔는지 많은 예들을 제시한다.

AOL과 넷플릭스의 익명화된 빅데이터 정보 방출이 어떻게 개인 식별에 쉽게 이용될 수 있었는 지의 사례는 섬뜩하기까지 하다. 전기 및 수도 계량기는 개인이 쓴 전기의 양만 수집하는 것이 아니라 매 6초마다 전기 부하의 서명을 측정해 감으로써, 가정의 에너지 사용 습관, 건강 상태, 불법활동까지도 감지할 수 있다고 한다.  모든 사람의 정보가 들어 있는 데이터 집합에서는 탈퇴 가 새로운 정보의 가치로 평가될 수 있다. 빅데이터 시대에는 현재까지 우리가 사용해온 사생활 보호 방법들이 전혀 통하지 않는, 문자 그대로 무방비로 노출되고 있다고 보아야 겠다. 우리 생활의 모든 측면에 관한 수많은 개인정보를 우리가 이용하는 모든 회사들이 촉적하고 공유하며 우리가 상상할 수 없는 방식으로 그 정보를 사용한다는 사실. 나보다 더 많이 나에 대한 데이터가 여기저기 구석구석 어딘가에 쌓여가고 있다는 사실은 오싹하다.

생각보다 빠른 미래에 지금은 순전히 인간의 판단 영역에 속하는 많은 것들이 컴퓨터 시스템에 의해 보강되거나 대체될 것이다.  구글이 나의 선호도와 취향을 분석해 가장 적절한 웹사이트부터 순서대로 보여주는 것처럼, 페이스북이 나와 연줄이 닿아 있는 사람을 찾아 나열해주듯, 어쩌면 실제 범죄가 일어나기도 전에 범죄자를 찾아내게 될 지도 모른다.

하와이 NSA지국에서 근무하던 스노든은 NSA가 구글, 애플 같은 IT 기업들의 서버에 접속해 이용자들의 정보를 수집해 왔다는 사실을 폭로했다. 이후 그는 영국 정보기관이 G20 정상회담 참가자들의 이메일과 통화기록을 감시한 데 이어 환대서양 케이블망까지 해킹해 전세계 인터넷 및 전화통신을 감시해왔다고 주장해 큰 파문을 몰고 왔다. 이번 폭로는 얼마 전에 읽은 ＜빅 데이터＞를 떠올리게 한다. 빅 데이터란 단순히 대용량의 데이터가 아닌, 방대한 양의 정보를 고속 처리하여 즉시 분석하고, 그로부터 놀라운 결론을 도출해내는 능력이다. 이 능력이 알려진 것은 얼마 되지 않았다. 

빅 데이터의 핵심은 예측에 있다. 방대한 양의 위험하지 않아 보이는 데이터 조차도 충분히 많은 양을 수집한다면 빅 데이터가 제시하는 미래 행동 예측에 기초하여 아직 저지르지도 않은 일에 대해, 범죄를 저지를지, 그래서 미리 체포되어야 할지 등을 예측할 수 있게 된 것이다. 개인이나 집단을 감시의 표적으로 삼는 것은 사생활침해를 불러 일으킬 것이라는 저자의 말에 공감하지 않을 수 없다. 관계당국은 범죄를 저지를 가능성에 대해 최대한 정보를 알려고 할 뿐 아니라 최대한 넓은 인간관게, 연줄, 상호작용을 알려고 들 것이기 때문이다. 책은 빅 데이터의 정의부터 흥미롭고 다양한 사례들을 통해 빅데이터에 대해 쉽게 이해할 수 있도록 하였다.  데이터가 휘두르는 독재와 개인의 자유의지 사이의 윤리 문제에 관해서도 폭넓게 다루고 있다. ＜빅 데이터＞의 두 저자들은 이 책에서 빅 데이터가 우리의 삶에 끼칠 영향과 위험 그리고 대처법까지 꼼꼼하게 다루고 있다. 만만잖은 분량임에도  재미있게 읽혀지는 책이다.

어느 동네에 어떤 업종이 장사가 잘 될까? 중고차 중에서 어떤 색깔의 차량이 가장 상태가 좋을까? 뉴욕의 맨홀 뚜껑 중 폭발 위험이 가장 높은 것을 어떻게 알아낼까? 구글은 대체 어떻게 신종 플루의 발병을 예측했을까? 이런 질문에 답을 얻기위해 필요한 것이 바로 ‘빅 데이터'다. 저자들은 빅 데이터가 갖는 과학적,사회적 가치뿐만 아니라 다양한 방식으로 비즈니스, 정치, 교육, 건강, 혁신을 생각하는 방식을 바꿔놓을 것이라 말한다. SNS와 스마트폰이 대중화 되면서 개인정보와 위치정보를 기반으로 다양한 데이터가 발생한다. 이러한 데이터의 축적에 따라 그동안 정보로 취급하지 않았던 것들까지 새로운 방식으로 활용할 수 있게 해준다. 엄청난 양의 데이터에 수학을 적용해 질병 진단과 치료법에 적용될 수 있고, 우리에게 맞는 책을 추천해 주고, 나의 기호를 알고 가장 적절한 웹사이트를 보여주고. 내가 누구와 가까운 사이인지 꿰뚫고 있다. 실제 범죄가 일어나기도 전에 ‘범죄자’를 찾아내 사전에 범죄를 예방하게 될지도 모른다. 인터넷에 통신 기능이 첨가되어 세상을 바꿔놓았듯, 빅 데이터도 지금까지와는 차원이 다른 생활의 기본 양상을 바꿔놓을 것이다. 이제 빅 데이터는 우리의 삶과 일 그리고 생각하는 방식까지도 변화시키고 있다. 

 
지금 우리가 가진 데이터는 어마어마한 규모이고 빠르게 처리될 수 있으며, 그 용도는 계속해서 늘어날 것이다. 데이터의 진짜 가치는 바다 위에 떠있는 빙산과 같아서 처음에는 아주 조그만 부분밖에 보이지 않지만 수면 아래에는 많은 부분이 숨겨져 있다. 이것을 이해하고 숨은 가치를 추출해 낸다면 엄청난 이득을 거둬갈 것이다. 그러나 방대한 크기 때문에 인간이 아닌 기계가 결정을 내리는 경우가 늘어나게 되고 이전에 없던 새로운 원칙이 필요하게 되었다. 충분한 겸손과 인간성이 배제된 기술은 독이 될수 있음을 간과하지 말아야 할 것이다.

빅데이터와 관련한 거대담론을 다룬 책이다. 빅데이터 혁명은 인터넷의 발명, 심지어 인쇄기의 발명에 비교되는 커다란 지식정보혁명이다. 빅 데이터(big data) 혁명은 방대한 양의 정보를 고속으로 처리하여 분석하고 이로부터 놀라운 결론을 도출해 내는 능력을 말한다. 지금까지는 스몰 데이터(small data)의 세상이었다고 하겠다. 정보처리 능력의 부족과 경제적부담이라는 이유로 우린 샘플을 채취해 모집단에 대한 추측을 하곤 하였다. 선거결과나 지지율 변화를 알기 위한 표본조사가 대표적 사례라 하겠다.

빅데이터는 상대적으로 많은 엄청난 양의 정보를 활용한다. 하지만 그 정보는 영상, 대화, 문자와 같이 들쭉날쭉한 비정형 데이터들이다. 그리고 모집된 표본정보 전체를 활용한다는 특징이 있다. 이를 통해 스몰데이터가 처리하는 단순한 당선자 예측뿐만 아니라 사람들의 기분상태나 소통의 문제, 특이한 사항까지 예측할 수 있다. 빅데이터의 대표적 사례로 이야기되는 것 두가지만 살펴보자. 첫째는, 구글이 핵심티워드 검색을 통해 독감 유행지역에 대한 정보를 보건당국보다 훨씬 빨리 알아냈다는 사실이다. 둘째로는 미국의 대형슈퍼인 타겟(Target)이 고객의 구매패턴 정보를 분석해 한 여고생의 임신사실을 알아내고 출산용품과 관련된 쿠폰을 보낸 이야기가 많이 회자된다. 표본조사에 바탕을 둔 스몰데이터적 접근이 정규분포하에서의 일반 패턴을 추론한다면, 빅데이터적 접근은 모든 정보를 활용해 특이한 정보까지 추론하는 것이 가능하다는 차이가 있다고 하겠다.  

빅데이터는 엄청난 분량의 정보를 활용하는 과정에서 미시적 차원의 정확성을 잃는 대신 거시적 차원의 통찰력을 얻는다. 왜 특정 지역에 독감이 더 유행하고 있는지 구체적 원인을 설명하기보다는 그런 상황에 대한 개괄적 윤곽을 보여준다고 하겠다. 빅 데이커가 가지는 비정형적 데이터 성격에 기인한다고 보면 되겠다. 빅데이터 혁명이 가능하게 한 것은 정보처리 기술의 향상이지만 기술보다는 정보 자체가 가지는 중요성이 더 큰 관심을 받고 있다. 데이터야말로 중복사능이 가능한 비경합재로서 어떤차원에서 문제를 들여다보느냐에 따라 다양한 해답을 제공해 줄 수 있기 때문이다.

지금 빅데이터 혁명은 막 시작단계에 있다. 앞으로 관련기술과 데이터 축적이 더 진행된다면 우리의 건강상태의 관리에서부터 쇼핑, 여행, 여가활용, 투자 각 분야에 있어 획기적 도움을 줄 수 있다. 빅데이터로 인해 정보화사회가 완성된다면 우리의 삶과 일 그리고 생각하는 방식자체가 완전히 바뀔 수도 있다. 내가 언제쯤 암에 걸릴지 진단해 예방책을 마련할 수도 있고, 범죄가 일어날 순간을 미리 포착하고 경찰이 미리 출동해 예방할 수도 있겠다. 우리의 삶에 대해 데이터가 스스로 분석해서 정답을 우리에게 모두 알려준다면 도대체 인간다운 생활이 무엇이며 인간의 자유의지가 실현될 여지는 남아 있는 것일까? 고민해 보아야 할 큰 문제로 다가온다. 

이와 함께 빅데이터로 인한 사생활 침해 가능성에 대해서도 고민해야 하다. 구글의 스트리트 뷰(street view)가 우리집 모습을 세세히 찍어가는데 기분좋을 사람은 아무도 없을 것이다. 그리고 마음만 먹는다면 나의 일거수 일투족이 모두 공개되는 그런 상황도 이미 충분히 상정해 볼 수 있다. 빅데이터가 일상화될 경우 빅데이터 데이터 이용기관의 통제 가능성에 대한 적절한 견제수단을 마련해 나가야 함은 물론이다. 저자는 단순한 정보이용 동의서를 받는 시스템이서 더 나아가 사생활 보호에 대한 책임을 지우는 방향으로 제도개선이 필요하다고 지적한다.

빅데이터 혁명이 극단적으로 진행되면 인간이 미래의 상황이 전부 예측될 수 있을까? 빅데이터에 대한 불안은 인류문명의 직선적 발전모델에 근거하고 있지만 사실 빅데이터가 만능은 아니라고 생각된다. 데이터 자체에 문제가 있을 수도 있다. 내 마음 나도 모를때가 있듯이 합리적 추론이 항상 가능한 것은 아닐 것 같다. 다만 지금에 비해서는 예측의 정확성이 한 단계 업그레이드 되는 점에는 동감한다. 정보의 숲에서 정말 의미있는 사실을 발견해 내는 것은 정보 활용자의 문제의식, 창의성과 같은 인간의 영역에 달려 있다. 빅데이터의 장점은 최대한 활용하면서 그 부작용을 방지하기 위한 구체적 방안에 대한 지혜를 모아가야 할 때로 보인다.

빅데이터에 관한 다양한 책을 읽었지만 이 책만큼 빅데이터 본질에 쉽게 접근하는 책도 없다. 빅데이터의 개념을 확실하게 이해하도록 쉽게 풀어냈다. 현대 기술의 발전으로 우리가 하는 모든 행위는 데이터로 흔적이 남는다. 특히 인터넷을 통하는 행위는 세세한 것까지 모두 기록으로 남는다. 이런 기록들은 과연 어떻게 쓰여질까? 요즘 계속 회자되는 빅데이터는 이런 데이터의 쓰임을 잘 설명해준다. 빅데이터의 실체가 뭘까? 요즘은 일상의 많은 것들이 측정되어 데이터로 저장된다. 지금도 우리 주변에서 계속 생성되고 있는 이런 무한한 데이터를 빅데이터라 말한다. 이와 같은 다양하고 광범위한 데이터를 분석하여 특정 패턴을 읽어내려고 한다. 이런 시도로 이를 활용한 새로운 산업이 창출되며 기존의 산업기반을 송두리째 위협하고 있다. 예전에는 아무짝에도 필요 없거나 방치되던 데이터들이 새롭게 가공되고 부가가치를 창출한다.

이 책에서는 오랜 과거에도 빅데이터를 분석하여 가치창출을 한 사례가 있었다고 한다. 단지 과거에는 그것을 빅데이터라 부르지 않았을 뿐이다. 최근에 기술발전과 함께 데이터 수집능력이나 처리능력이 비약적으로 발전하여 과거와 빅데이터를 분석하는 방법에 많은 차이가 있다. 빅데이터 분석의 특징이라 하면은 정확성 보다는 전반적인 흐름을 파악하기에 유용하다. 미시적관점보다는 거시적 관점에서의 분석이 중요시되고 있다. 이는 단순한 변화가 아니다. 책에 의하면 인류는 정확성을 토대로 데이터 분석을 하도록 진화해왔다. 인류가 생존하기 위해 수집할 수 있는 데이터 량은 많지 않았다. 이런 데이터를 생존을 위해 활용하려면 작은 것 하나도 놓치지 않고 분석을 해야 했다. 하지만 지금은 이런 세세한 내용까지 분석하기에는 데이터의 양이 너무 방대하다. 이 때문에 정확성 보다는 추세를 중시하게 될 것이다. 이런 분석방법이 인류가 존재한 이래로 최대 난관에 봉착하게 될 것이다. 지금껏 우리가 옳다고 믿어왔던 가치관이 송두리째 흔들릴지도 모른다.

데이터의 가치는 무엇일까? 어딘가에 쌓여있는 데이터는 가치가 없다. 아무렇게나 저장된 데이터에서 특정한 패턴을 찾아내어 활용할 수 있어야지만 진정한 데이터로서 가치가 있다. 요즘 들어 의미가 없어 보였던 이런 데이터를 이용하여 다양한 활용사례를 찾을 수 있다. 이 때문에 새로운 산업이 나타나고 새로운 직업과 지식이 발생하게 된다. 앞으로는 이와 같은 빅데이터를 분석하고 활용하는 방법이 엄청난 경쟁력이 될 것이다. 빅데이터의 본질에 접근하고 어떻게 이해하느냐에 따라 우리 삶에 명암을 드리울 것이다. 빅데이터가 많이 활용되는 사회가 될수록 빅데이터는 거대한 권력이 될 수도 있다. 인류에 도움이 될 수도 있고 인류를 위험에 처하게 할 수도 있다. 우리는 빅데이터 수집과 활용에 관해 지금부터 충분히 고민하며 인류에게 이로운 방향으로 사용되도록 많은 고민을 해야 한다.

언제부턴가 ‘빅 데이터(Big Data)'라는 말을 듣게 되었다. 미국에선 똑똑한 이들이 다 이쪽으로 몰린다는 얘기도 들렸다. 그러나 그런 신문의 기사, 혹은 흘러 들어오는 말로는 과연 그게 어떤 것인지, 의미가 무엇인지에 대해서 종합적으로 알 수는 없었다. 비록 세상의 유행이 민간하지는 않지만, 그래도 그게 내가 하는 연구도 그런 방향임에 분명하기 때문에(예를 들어, 수백 균주의 세균의 전체 genome을 염기서열해서 결과를 논문으로 내는 것 등) 절대로 무시할 수도 없는 노릇이다.

빅토르 마이어 쇤버거, 케네스 쿠키어의 『빅 데이터가 만드는 세상』는 바로 그 ‘빅 데이터’의 세상을 친절하게 알려주고 있다.

‘빅 데이터’에 의해서 세상을 해석하고, 대응하는 방식이 달라지고 있다는데 바로 그런 것들에는 어떤 것들이 있으며, 거기에 들어있는 의미는 무엇이며, 또 그 중요성과 위험성은 무엇인지를 종합적으로 다루고 있다.

우선 ‘빅 데이터’라는 게 무엇인지부터 알아야 하는데, 대통령 선거를 예로 들어 말하자면, 우리가 선거 전에 여러 여론 조사를 통해서 누구의 지지율이 몇 %이고, 그 추이는 어떻고, 어떤 계층이 지지하고 있고 등등의 데이터는 ‘스몰 데이터’이다. 반면 전체 데이터, 모든 사람을 다 조사하는 것. 바로 그것이 ‘빅 데이터’인 셈이다. 즉, 샘플링하지 않는 조사가 바로 ‘빅 데이터’라 할 수 있다.

저자들이 예로 들고 있는 것은, 구글의 연구진이 구글 사이트의 검색어 분석을 통해서 독감 예보를 할 수 있게 된 것, 비행 요금의 변동 추이를 분석해서 예측 모델을 만들어 내는 것, 아마존이 전문적인 북 리뷰어 대신에 수많은 독자들의 별표라든가 구매 방식, 평 등을 통해서 특정 책을 권장하는 것, 월마트에서 허리케인이 다가오면 어떤 특정한 물품(재난 대비 물품이 아니라)이 특별히 많이 팔리는 것을 알아내어 그것을 같이 전시하는 것 등등이다.

그런데 이런 데이터들은 하나하나를 따져보면 허점투성이인 데이터이다. 뭔가가 빠져 있다. 즉, 들쭉날쭉한데, 빅 데이터를 다루는 이들은 그런 것들을 버리지 않는다. 다만 무시하고, 그대로 분석을 진행한다. 그렇더라도 워낙 데이터 양이 많기 때문에 결국에 나오는 결과는 추이를 반영하기에 충분하다는 것이다.

또한 이런 ‘빅 데이터’는 이유(why)를 묻지 않는다. 그저 그런 것이 있다(what)는 것을 알려준다. 즉, 인과성의 굴레를 버리고, 상관성의 세계로 나아간다. 사실 우리는 많은 것을 인과의 관계로 해석하기를 좋아하지만, 대부분은 상관성에 그치는 경우가 대다수다. 이를테면, 아침에 일찍 일어나는 사람 중에 성공하는 사람이 많다고 했을 때, 그 아침에 일어나는 것과 성공과는 인과성이 없다. 다만 상관성이 있을 뿐이다. 우리는 그저 인과적으로 해석하고 싶을 뿐이다. 빅 데이터의 세상은 그런 인과성을 과감히 포기하고 상관성을 제시함으로써 더 많은 것을 할 수 있도록 한다. 앞에서 예를 든 대로, 구글에서 검색어 분석을 통해 독감 예보를 한다고 했을 때, 하나하나의 클릭과 검색이 독감과 어떤 인과성을 갖는 것은 아니다. 다만 그 전체 데이터가 모였을 때 상관성이 있으므로 그걸로 독감에 대해 더 잘 대비할 수 있다는 것이다. 그러므로 그것으로 충분히 의미 있다는 것이다.

사실, 빅 데이터라는 개념은 옛날부터 있어왔다. 모든 것을 다 조사해서 어떤 상황을 전체적으로 본다는 것이 어찌 없었을까? 그런데, 지금 달라진 것은 그것이 너무나도 쉬워졌고, 너무나도 많은 데이터가 가능해졌고, 또한 그 데이터를 이용해서 2차적인 용도로 쓸 수 있게 되었다는 것이다. 그래서 이 빅 데이터를 이용해서 돈을 벌고자 하는 사람들도 많아졌다는 얘기다.

그런데, 저자들은 이 빅 데이터가 만들어가는 세상이 온갖 장밋빛만은 아니라는 것을 중요하게 지적하고 있다. 그들이 예로 든 것은 톰 크루즈가 주연으로 출연했던 ‘마이너리티 리포트’의 세계이다. 거기서는 어떤 행위에 대한 처벌이 아니라 그 행위의 가능성에 대한 처벌이 이뤄지는 세계다. 비록 통계도 아니고, 빅 데이터 분석에 의한 것도 아닌, 예지자의 감에 의한 것이지만 말이다. 빅 데이터가 어떤 행동을 예측할 수 있다고 했을 때, 그것은 단지 전체적인 무리에서의 가능성일 뿐이다. 그런데, 앞에서도 보았듯이 우리는 인과성을 무척 좋아할 뿐만 아니라, 가능성을 확정성을 받아들이기를 원한다. 그런데, 그게 얼마나 위험한가! 내가 마음먹은 것에 대한 처벌은, 혹은 그에 대한 반응은 끔찍할 뿐만 아니라 논리적으로도 말이 되지 않는다. 그게 세상에 어떤 의미도 주어지지 않았는데도 불구하고 미리 평가받는다는 것은, 우리의 자유의지 자체를 부정하는 것일 따름이다(이것은 우리에게 자유의지가 있는지, 없는지의 문제가 아니라 우리 행위의 책임성을 말하는 것이다).

또한 빅 데이터를 다루는 데 있어서 여러 가지 문제점들도 있다. 누가 그것에 대한 주도권을 가질 것인지, 그 책임은 어떻게 질 것인지 등등. 빅 데이터의 세상이 도래한지 얼마 되지 않기 때문에 아직 정비되지 않은 문제들이 많은 것이다.

그래도 ‘빅 데이터’의 세상은 이미 우리 곁에 와 있고, 또 분석하고 있고, 분석당하고 있다. 교통 카드 분석을 통해서 서울 시민의 생활상을 분석한 것도 빅 데이터이며, 트위터 등을 통해서 관계망을 조사하는 것도 역시 빅 데이터이다(심심찮게 뉴스에 나오는 내용들이다). 그렇게 때문에 알아야 하고, 또 똑똑하다면 이용할 줄 알아야 한다. 또한 그 위험성을 알고 대비도 해야 한다. 늘 세상은 변하고, 우리는 늘 적응해야하지만, 이번 변화는 정말 크다.

(2013. 6)

최근 다양한 분야에서 빅 데이터가 이슈다. 과연 빅 데이터가 무엇이고 왜 이슈가 되고 있는지, 어떻게 활용되고 있는지 좀 더 자세히 알 필요가 있다. 그리고 빅 데이터가 향후 미래에 새로운 패러다임을 가져올 수 있기에 빅 데이터로 변화될 세상에 대해서도 자신의 분야를 막론하고 한번 쯤 생각해보아야 한다.
이 책은 현재 시점에서 고찰해볼 수 있는 빅 데이터의 처음과 끝을 상세하게 풀어냈다고 할 수 있다. 앞으로 삶과 일, 그리고 생각하는 방식까지도 바꿔놓을 빅 데이터가 가진 유익함과 리스크라는 양면성을 파헤쳤고, 리스크에 대한 나름의 해결책도 제시했다.

컴퓨터와 인터넷의 발달로 짧은 시간 동안 엄청난 데이터가 축적되기 시작했다. 2000년만 해도 전 세계에 저장된 정보의 4분의 1만이 디지털이었지만, 2007년에는 데이터 중 7퍼센트만이 아날로그였다. 2013년에는 전 세계 저장된 정보의 양이 1,200엑사바이트에 이르고 그중 2퍼센트 이하만 디지털이 아닐 것으로 추산된다고 한다. 여기서 1엑사바이트는 10억 기가바이트인데, 디지털 형태의 장편 영화 한 편이 1기가 바이트짜리 파일 하나로 압축된다고 할 때 그 양이 얼마나 엄청난지 예상할 수 있다.
지금 세상은 그 어느 때보다 많은 정보가 넘쳐나면서 빠른 속도로 성장하고 있다. 이렇듯 엄청나게 축적된 데이터를 외형적인 면에서 빅 데이터라고 부르지만, 우리가 말하는 빅 데이터는 엄밀히 말해서 큰 규모를 활용해 더 작은 규모에서는 불가능했던 새로운 통찰이나 형태의 가치를 추출해내는 일을 말한다. 지금 시대는 규모의 변화가 상태의 변화를 낳고 양적 변화가 질적 변화를 낳는 시대인 만큼 빅 데이터는 상상이상의 가치를 제공할 수 있다.
빅 데이터가 엄청난 양의 데이터에 수학을 적용해 확률을 추론하려는 노력인 만큼 빅 데이터의 핵심은 예측이다. 어느 이메일이 스팸 메일일지 가능성을 확인하고 무단횡단 중인 사람의 궤도와 속도로 미루어 제때 길을 건널 가능성을 예측하며 무인 자동차가 속도를 살짝 늦춰야 할 가능성 같은 것들을 예측하게 된다. 이런 시스템이 잘 작동하기 위해서는 예측에 필요한 많은 데이터를 공급받아야 한다. 더 많은 데이터가 들어올수록 최상의 신호와 패턴을 파악하고 정확하게 기록할 수 있게 된다.

구글은 방대한 데이터와 데이터 처리 능력, 통계적 노하우를 가지고 사람들이 인터넷에서 검색한 내용을 바탕으로 독감 바이러스에 감염된 사람을 식별해냈다. 구글의 시스템으로 할 수 있는 일은 특정 검색어의 빈도수와 여러 지역의 장기간에 걸친 독감 확산 사이의 상관관계를 찾는 것뿐이었지만, 결과는 대성공이었다. 구글은 질병관리본부의 2007, 2008년의 실제 독감 환자 기록과 대조했을 때 예측력이 있는 검색어를 찾기 위해 4억 5천만 개라는 엄청난 수의 수학적 모델을 검토했고 공식데이터와 97퍼센트의 상관성을 갖는 검색어 45개를 찾아냈다. 질병관리본부의 전문적인 조사 없이도 이 검색어들만으로도 독감이 어디로 퍼져나가는지 알려줄 수 있는 것이다. 여기서 큰 차이라면 질병관리본부가 환자발생 후 1~2주 후에나 가능한 것을 구글은 실시간으로 알려줄 수 있다는 점이다. 더구나 환자들의 검사나 샘플 채취도 필요가 없다.
빅 데이터가 큰 변화를 일으키고 있는 것은 공중보건 말고도 다양하다. 미국의 손꼽히는 컴퓨터 과학자였던 에치오니는 개인적인 의문을 계기로 온라인상의 항공권 가격이 저렴한지 여부를 알 수 있는 방법을 찾기 시작했다. 그는 가격 차이의 원인이 되는 원칙이나 이유 따위는 해독할 필요가 없고 앞으로 가격이 올라갈지 내려갈지 예측하는데 집중했다. 주어진 노선의 모든 항공권 가격을 분석하고 출발일까지 남은 날짜에 따라 팔린 가격을 확인하기만 하면 됐다. 그는 자신의 예측 모델을 기반으로 페어캐스트라는 신생 기업을 만들었고 항공권 예약 데이터베이스의 빅 데이터를 이용하여 소비자들의 큰돈을 절약하게 만들었다. 이 방식은 호텔, 콘서트, 중고차 등 다른 재화들에도 적용할 수 있는 모델이었다.

구글이 검색을 재사용해 독감의 확산을 밝혀내고 패어캐스트가 항공권 판매 데이터를 이용해 미래의 항공운임을 예측했듯이 맥그레거 박사는 유아의 바이털사인을 추적해 감염의 시작을 예측했고 모리는 나이 많은 선장들의 항해일지에 새로운 목적을 부여해 해류를 알아냈다. 디지털화의 도래로 한 때 1년이 걸렸던 정보 수집과 분석 과정을 이제 며칠 내, 혹은 몇 시간 내에 가능해졌다. 기술적 발달과 축적된 정보의 가치가 높아지면서 빅 데이터의 활용의 초기 단계인 현재에도 많은 기업과 산업 및 유통분야에서 빅 데이터 활용이 늘어나고 있다. 어떤 해지펀드들은 주식시장의 성과를 예측하려고 트위터를 분석하고 아마존과 넷플리스는 제품을 추천하려고 사이트상에서 이용자들의 무수한 활동을 분석한다. 트위터, 페이스북, 링크드인 모두 이용자들의 선호를 파악하기 위해서 소셜그래프를 작성한다.
이렇듯 유용하게 활용할 수 있는 빅 데이터는 그동안 신뢰해왔던 스몰 데이터의 관습을 뒤엎는다. 우리가 사는 방식, 세상과 소통하는 방식에 도전한다고 할 수 있다. 그중 두드러진 것은 인과성에 대한 집착을 일부 포기하고 상관성에 만족해야한다는 점이다. 빅 데이터가 중요한 결과의 방향을 예측할 수 있다는 점에서 정밀성에 대한 고집도 양보해야 한다. 미시적 차원의 정확성을 잃는 대신 거시적 차원의 통찰을 얻게 되는 것이다. 이렇듯 이유는 모른 채 결론만 알게 된다는 점에서 빅 데이터는 우리의 이해 방식과 의사 결정 방식을 다시 생각하게 만들지도 모른다.
이 책은 이와 같이 빅 데이터의 발전과 장점, 다양한 활용사례와 적용영역에 대해서 상세하게 고찰했을 뿐만 아니라 빅 데이터의 어두운 이면인 보안문제, 사생활 침해, 정보독점과 남용 등을 분석하고 이를 해결하기 위한 원칙에 대해서도 신중하게 제시했다. 

이 책을 읽다보니 빅 데이터가 우리가 집착하던 인과성을 무시하고 상관성을 토대로 원인은 몰라도 결과를 예측할 수 있다는 것이 흥미로웠다. 이유야 어찌되었든 결과를 예측할 수 있다는 것만으로도 경제적 활용의 가치는 무한할 정도다. 앞으로 빅 데이터로 인해 얻게 될 무수한 사회적 혜택 역시 늘어나게 될 것이다. 한편으로 빅 데이터를 활용한 예측 시스템의 발달로 지금과는 차원이 다른 개인의 무분별한 감시와 파악이 가능해질 수 있다는 점에서 우려가 되기도 한다. 지금은 상상이지만, 영화 ‘마이너리티 리포트’에서처럼 일어나지 않은 범죄를 예측하여 가해자를 사전에 체포하거나 막는 시스템에 대한 가능성도 배재할 수 없다. 따라서 자유의지의 역할과 데이터가 휘두르는 독재 사이에 윤리 문제가 대두될 수 있음을 신중하게 고려해야 한다. 그런 면에서 빅 데이터 시대에는 개인의 존엄성을 보호하기 위한 새로운 규제가 요구될 것이다.
이 책은 빅 데이터에 대한 모든 것을 담아낸 책이라고 할 수 있을 만큼 다양한 영역의 풍부한 사례들을 통해서 흥미롭고 명쾌하게 풀어냈다. 아마도 지금 시점에서 빅 데이터의 이해가 필요하다면 이 책 하나면 충분하지 않을까 싶다.

몇년전만 해도 생각하지 못했던 새로운 세상이 우리곁에 다가 오고 있다. 아니 이미 다가와 있다. 바로 빅 데이터가 만드는 세상이다. 빅 데이터에 대한 소식을 접한건 책에서도 나오지만 몇년전 구글의 검색 데이터를 활용해 독감 유행을 예측했다는 뉴스를 접한 후다. 그 당시 큰 이슈가 되면서 미디어에서 많이 다루어 졌지만 금새 잊혀졌다. 그러다가 2012년 떠오르는 IT 10대 이슈에  빅 데이터가 선정되면서 다시 한번 관심을 갖게 되었다. 빅 데이터에 대한 관련 책들도 출간이 되어 만나보기도 했지만 조금 부족한 감이 있었는데, 그런 부족한 감을 채워줄 제대로 된 책이 '21세기북스'출판사에서 출간이 되어 만나게 되었다.조금은 딱딱할 것 같은 주제를 다루고 있지만 흥미로운 이야기들로 인해 지루함 없이 만날 수 있어서 좋다.

 사람들의 무의식적인 반응을 자극해 지갑을 열게 만드는 뉴로 마케팅이 논란이 되었었는데, 사람들이 남긴 데이터를 활용해 뉴로 마케팅보다 더한 논란거리가 될수도있는 빅데이터다. 저자도 빅 데이터는 새로운 경제적 가치와 혁신의 원천이 될것이라고 하는데,  빅 데이터와 뉴로 마케팅과 만난다면 놀라운 효과를 낼것이라 본다.

저자는 이제 겨우 빅 데이터의 여명기에 와있다고 하는데, 이제 겨우라곤 하지만 우리 곁에 가까이 다가와 있다는 것을 알려준다. 여명기인데 이정도라면 앞으로는 과연 어떻게 될까?  책은 그에 대한 혜택과 위험에 대해서 알려준다. 빅 데이터가 우리가 세상을 이해하는 방법을 근본적으로 바꿔 놓을 것이라는 저자는,  흥미로운 최근의 사례들을 통헤 어떻게 데이터가 추출될 수 있는지를 제대로 이해하게 해준다. 빅 데이터가 일상이 되는 시대가 다가 오고 있는데 빅 데이터의 어두운면 도 만날 수 있는 이 책은 빅 데이터가 만드는 세상은 어떤 세상이 될지를 비롯해 빅 데이터에 대한 모든 궁금증을 풀 수 있는 책이다.

1. 어떤 책은 디지털 환경의 복잡하고, 무한한 정보의 흐름에 취해서 정작 기억해야 할 것을 잊어버리는 상태를 걱정한다. 그래서 디지털 치매라는 용어를 만들어서 디지털 환경과의 거리를 유지하라고 권고한다. 한편, 어떤 책은 당신에게 다가오는 엄청난 데이터를 낭비하지 말고, 그것을 경제적으로 이용하라고 권유한다. 우리는 이러한 양측의 주장 사이에서 선택의 기로에 놓여있다. 

＜빅 데이터가 만드는 세상＞은 후자에 관한 주장을 받아들이는 책이다. 이 책은 데이터, 데이터 분석 기술, 데이터 활용에 대한 아이디어. 이렇게 세 가지 요소를 통해서 빅 데이터 세상이 제공하는 정보를 받아들이라고 주장한다. 

데이터를 활용하여 창출해낸 결과는 인과성보다는 상관성. 즉, 데이터 분석 결과를 바탕으로 알고자 하는 것에 대한 원인보다는 결과에 중점을 둔 것이지만, 그 정도만 예측할 수 있더라도 많은 부분에서 심각한 문제 발생을 막을 수 있으므로 사회적으로 비용 절감 효과를. 그리고 데이터를 분석해서 소비자의 성향을 예측할 수 있으므로 마케팅 효과의 측면에서 이익을 창출할 수 있다고 말한다.   

2. 빅 데이터를 만드는 데이터, 분석 기술, 아이디어. 세 가지 조건 중에서 가장 중요한 것은 데이터라고 말한다. "IT 기술에서 중요한 것은 더 이상 'T'가 아니다. 'I'다. 왜냐하면, 데이터는 가공되지 않는 금광과 같기 때문이다." 라고 작가는 비유한다. 데이터의 보유와 다양성을 통해서. 분석가와 기획자들은 데이터를 수집할 당시 예측하지 못했던 2차적 문제에 관해서 예측할 수 있는 도구를 생성할 수 있고, 많은 데이터를 통해 예상 확률을 더욱 높일 수 있다고 말한다. 

3. 빅 데이터로 모든 확률을 계산하고 해석하는 세상에 부작용은 존재한다. 그것은 인터넷에서 우리가 남기는 데이터 잔해를 통해서 자신도 모르게 나의 정보가 외부로 누출될 수 있고, 그러한 데이터 잔해의 분석 결과. 우리가 저지르지도 않은 미래의 범죄 가능성을 예상하여 우리들을 잠재적인 범죄자로 만들어버릴 수도 있다. 

또한, 데이터를 맹신하는 사회적 환경과 자신의 성과라는 압력에 굴복하여 데이터를 조작하여 각종 비리를 저지를 가능성도 있다고 한다. 이러한 데이터 세상의 부작용에 대해서 우리가 할 수 있는 일이란 인간적인 정의감에 호소하는 일밖에 없고, 데이터를 사용하는 사람들의 도덕성에 호소하는 길밖에 없는 듯하니 통제와 규제라는 측면에서 좀 더 연구가 필요한 듯도 싶다. 

4. 나는 데이터 수집 필요성과 그것을 책과 연관 지어서 생각해본 적이 있다. 우리가 읽고 기억하는 것에는 한계가 있기 때문에 유용한 구절들을 데이터 저장과 검색이 동시에 가능한 공간에 입력해두고, 필요할 때 검색 도구를 통해 추출하는 방식이 필요하다고 생각했었고, 나는 그것을 블로그를 통해서 할 수 있다고 봤다. 이미, 많은 작가들이 자신의 집필을 위해서 개인 공간에 유용한 데이터를 수집하고 있다고 한다.

집필을 위해서가 아니라 책을 잘 읽고, 이해하기 위해서도 자신이 만족할 만한 수준으로 데이터를 저장할 필요가 있다. 책을 읽으면서도 사유를 일으킬 수 있는 데이터에 갈증을 자주 경험했었다. 문제는 그것을 수집하기 위해 걸리는 시간인데. 단순한 수작업을 통해서는 엄청난 제약이 있기 때문에 스캐너 같은 기구를 통해서 지금의 PDF나 전자책의 형식처럼 스마트폰에 이미지로 디지털화하는 방식과는 다르게 한 글자씩 데이터로 처리할 수 있는 방식을 고민해 봤었다. 

5. 그것을 거의 완벽하게 이뤄낸 사례가 있다. 엘리엇 부가 쓴 ＜자살을 할까 커피 한잔 할까＞라는 책이다. 이 책은 아주 유명한 작가들의 잠언을 수집해서 그것을 데이터로 만들었고, 하나의 키워드를 검색해서 나온 결과를 이어 붙여서 어디에서도 보지 못했던 새로운 하나의 짧은 글을 창조해내는 작업을 수행했다. 

6. 역시. 시간이 오래 걸리더라도 이 블로그를 지금보다 더 많은 데이터를 가진 공간으로 만들어놔야겠다. 그런 생각을 해본다. 스캐너를 통해서 PDF 파일을 만들고, 그것을 키워드를 통해서 검색이 가능하게 만드는 방법에 대해서 더 생각해봐야겠다. 지금도 이러한 기능이 가능한지도 궁금하다.  네이버 책의 본문 검색 기능 같은 것을 원한다. 구글은 몇 천만권의 책을 스캔해서 키워드를 검색하면 그 키워드가 과거와 현재 얼마나 많이 쓰이고 있는지를 알 수 있었다. 

예를 들어, south korea와 north korea나 korea, japan, china의 사용 빈도를 조사해볼 수 있다. 이 도구를 사용해서 남성과 여성의 입력 빈도를 분석하고 여성의 검색 증가 추세를 발견하고, 그것을 여성의 신분 상승이라는 결론으로 매듭짓는 경우도 있었다. 

'그레그 런던은 해결책을 찾아냈다. 그는 추천 시스템이 한 사람 한 사람을 굳이 비교할 필요가 없다는 사실을 깨달았다. 그 방식은 기술적으로 너무 버거운 과제였던 것이다. 그 대신에 상품들 사이에 존재하는 연관성만 찾으면 됐다.. 컴퓨터는 어니스트 헤밍웨이의 작품을 읽은 고객이 왜 F. 스콧 피츠제럴드의 작품도 구매하는지 그 이유를 이해하지는 못했을 것이다. 하지만 그런 건 중요하지 않아 보였다.'

이 책을 이미 읽은, 그리고 앞으로 읽게 될 대부분의 사람들처럼 나도 얼마 전부터 꾸준히 들려오던 '빅 데이터'라는 단어의 의미에 대한 궁금함과 언젠가 한번은 이 단어를 (적어도) 개념은 이해하고 넘어가야 겠다는 생각이 들었다. 

책장을 넘기며 첫번째로 든 생각은 나처럼 초보자들이 빅 데이터의 개념을 이해하기 위한 목적이라면 아주 적합한 가이드라는 것이었고, 훌륭한 번역도 한 몫 하는 느낌이었다. 

책의 핵심이기도 하며 끊임없이 언급되는 주장은 빅 데이터를 이해하기 위해서는 인과관계에 얽매이기 보다는 상관관계에 주목해야 한다는 점 이었다. 과거에는 주로 통계적 샘플링을 통해 현상과 현상간 명확한 원인과 이유를 밝혀왔지만, 엄청난 양의 데이터를 다루어야 하는 현 시대에는 그렇게 해서는 트렌드의 변화 속도를 도저히 따라갈 수 없기 때문이다. 

많은 경우 원인의 무결점 증명이 아니라 허리케인때 어떤 음식이 잘 팔리는지 처럼 단지 현상과 현상간의 상관관계를 밝히는 것 만으로도 얼마든지 사업의 기회를 찾을 수 있다는 내용은 그간 피상적으로 얽매여왔던 원인의 규명이라는 무거운 짐에서 어느 정도는 벗어날 수 있게 되었다는 안도감도 들었다.

개인으로 아마존의 추천 시스템을 벤치마킹 하기 위해 책을 구입해 보기도 하고 또 추천 시스템의 정확성에 놀라기도 했던 터라 - 만약 어떤 새로운 분야가 궁금한데 수 많은 책 중 어떤 책들이 검증받은 책인 걸 알고 싶다면 아마존에서 한권을 검색하고 추천 도서 목록을 보면 바로 해결이 될 정도이다. - 더 흥미가 있었는지도 모르겠다.

책을 덮고 생각해보면 개념은 명확치 않더라도 이미 대부분의 사람들이 빅 데이터적 사고방식에 어느정도 익숙해져 있는 것 같기도 한데, 개념을 정리하고 넘어갈 것인가 아닌가 하는 것은 개인별 취사 선택의 문제인 것 같다.

정보통신과 컴퓨팅의 발달로 인하여 인류가 생성해 놓고 있는 데이터는 가히 헤아리기가 어려울 정도로 막대한 양입니다. 특히 개인용 PC가 개발된 이후, 인터넷의 활성화로 인하여 더욱 더 빠른 속도로 축적되는 데이터양의 규모가 크고 많음을 피부로 느낄 수 있습니다. 최근 들어 데이터의 디지털화가 약 98%에 이른다는 소리가 있을 정도로 웬만한 데이터는 디지털화가 되고 있습니다.

아날로그시절에는 무슨 이론을 형성하려면 가설부터 설정을 하고, 소량의 데이터를 분석하는 방법론으로 이론을 형성하여 갔으나, 최근에는 인과관계보다는 상관관계에 더 집중된 빅데이터를 가지고 결과를 도출하는 방법이 전개되고 있은 상황입니다. 빅데이터를 통해서 정확도보다는 결과에 초점이 맞추어 트렌드를 분석하는 도구로 여러 방면에서 활용되고 있는 실정입니다.

그런 의미에서 빅데이터를 통하여 시대의 변화가 분명 도래되고 있으며, 빅데이터를 어떻게 접근하여 활용하느냐에 따라 파생되는 산업으로 발전이 이전되고, 그 트렌드에 맞춘 발 빠른 적응이 경쟁력을 가진 비즈니스로 거듭날 것이라는 판단을 해보고 있습니다.

저자도 여러 사례를 통하여 빅데이터를 활용함에 따라 생존력과 경쟁력의 중심이 됨을 강조하고 있습니다. 모든 세상살이가 시대적 트렌드에 대해 얼마나 준비하면서 적응하느냐에 그 관건이 있음이 분명합니다. 그래서 어떤 곳이든 영원한 승자가 없는 모양입니다. 서바이벌 하기위한 개인적인 전략을 잘 구성하여 실행을 해봐야 되겠다는 생각을 해보고 있습니다.

2013.6.4