정말 정보가 차고 넘치는 시대이다. 가끔은 너무 많은 정보때문에 도리어 내가 길을 잃을때가 있을 정도랄까..? 이런 시대에 기업은 어떻게 생존전략을 짜야 할까? 바로 이렇게 넘쳐나는 다양한 데이터를 어떻게 처리하고, 축적하고, 분석할수 있느냐의 역량이 열쇠가 될것 이다. 이런 데이터의 범람, 대홍수를.. 빅데이터라고 부른다. 사실 내가 일하는 회사 역시 빅데이터를 활용하고 있기는 하다. 하지만 아직은 빅데이터를 정의하는 3V.. 즉 데이터양(Volume) 다양성(Variety) 속도(Velocity) 수준이 아닌가 한다. 이 책에서는 그것보다 더 광범의한 빅데이터의 정의를 말하고 있다.

데이터를 분석하여 의미와 통찰을 이끌어 낼수 있어야 한다는 것이다. 분석 처리의 실시간성이나 정확도도 중요하지만 그것을 바탕으로 새로운 서비스를 제공할 수 있어야 하기 때문이다. 그래서 요즘은 데이터 마켓 플레이스 뿐 아니라 데이터 과학자가 각광받고 있다고 한다. 책을 읽으며 인상적인 이야기는 바로.. "한 개인의 감성보다 수천만 명의 데이터를 믿는다"라는 것이였다. 특히나.. 호텔업무에서는 더욱더 고객의 'needs wants demand'를 파악해야 하기 때문에 실제 사용자의 데이터를 기초로 전략을 짜는 것이 중요하다. 이 책에서도 하라즈 엔터네인먼트의 고객 로열티 프로그램을 통해서 이런 시스템을 강조하고 있어 더욱 관심이 갔다. O2O (Online to offline) 즉.. 온라인(인터넷 정보)과 오프라인(현실세계의 구매행동)의 융합이 적절하게 이루어지고 있고, 그를 바탕으로 새로운 서비스를 창출해내고 있었다.

빅데이터의 활용이 확장되는 단계는 [과거와 현재의 현상 파악 -＞ 패턴 발견 -＞ 장래 예측 -＞ 최적화]로 설명할 수 있다. 특히 여기서 패턴발견에 주목해야 하는데.. 패턴에 있어서 성공과 실패를 다 고려해야 하는 것은 물론이고, 이 분석을 통해 변심패턴을 찾을수 있다는 것이 흥미로웠다. 이런 패턴을 잡아낼 수 있다면.. 내가 근무하는 곳에서도 많은 도움이 될 것이다. 변심의 흐름과 이유를 알아낼수 있다면 고객의 이탈을 막는 것은 물론이고 충성도를 높일수 있는 기회가 될 것이기 때문이다.

사실 이렇게 빅데이터의 활용이 얼마나 중요한지 생각하면서도.. 개인적으로는 내 정보가 멋대로 수집된다는 것에 거부감이 느껴졌다. 바로 내가 사용하는 인터넷에 'Do not track'기능이 켜져있는지 체크했을 정도이니.. ^^; 회사의 입장에서 생각할때와 바로 반대로 행동하게 되는 것이다. 이런 문제를 해결하기 위한 대안도 여러가지 제시되어 있다. 그중에서는.. 스스로 광고를 통제할 수 있도록 권한을 주는 방식에 관심이 갔다. 요즘 미국에서는  '데이터는 새로운 석유다'라는 말이 자주 들린다고 한다. 새로운 석유를 적절히 활용할 수 있다면 데이터 주도형 기업으로 나아가는 길이 더욱 수월하리라.

빅데이터가 무엇인가? 요새들어 빅데이터라는 것이 참으로 주목받는 것 같다. 빅데이터란 크게 3가지 특징이 있는 데이터이다. 3V라고 표현하고 있는데, 우선 양이(volume) 많아야 하고, 발생 빈도가 빠른(velocity) 데이터여야 하고, 다양해야(variety)한다는 것이다.이런 데이터들에는 어떤 것들이 있을까? 우선 대표적으로 1초에 7000개나 나오는 트윗을 들 수 있다. 또, 감시카메라에 지속적으로 포착되는 장면들도 그 설치 개수를 생각하면 도저히 다 확인할 수 없는 빅 데이터이다. 요새 IT계에서는 너무나 방대하기 때문에 버려두었던 빅 데이터에서 적절한 필터링을 거쳐 유용한 정보를 얻어낼 수 있고, 이런 정보가 보물같이 소중할 수 있음을 주장하고 있다. 마치 석유가 땅에 묻혀있지만 파내는 기술이 있어야 진정한 가치가 되듯, 데이터도 마찬가지라는 것이다. 그렇기 때문에 빅 데이터를 석유에 비유하기도 한다.

이 책에는 빅데이터를 어떻게 활용하는지, 그 사용 패턴에 대한 보고와 유럽과 미국, 일본의 회사들이 어떻게 이 데이터들을 사용하고 있는지에 대한 구체적인 자료들을 제시하고 있다. 이 책에서는 그 활용패턴에 대해 간단한 그림을 활용해서 설명하고 있는데, 그래서 이해하기 쉬웠다. 10의 12승에서 18승은 되는 이런 빅 데이터들을 처리하는 법에는 여러가지가 있었다. 최적화 시키는 법, 일괄 처리하는 법, 실시간 처리형 등 여러가지 정보의 분류로 정보들을 유용하게 만들어 내는 과정이다. 건설기계 제조회사라든가,쿠폰회사, 스마트 계량 회사 등 이러한 빅 데이터를 효과적으로 활용하고 있는 회사들도 한 종류 업계가 아니라 참으로 다양했다. 큰 용량의 정보에서 일정한 사람들의 패턴을 발견함으로서 그것으로 사람들의 니즈를 파악하고, 고객을 사로잡는 기술을 선보이는 것은 업계를 막론하고 중요한 마케팅이기 때문이다.

빅 데이터를 활용하는 과정에서 중요한 것이 바로 개인 정보의 문제이다. 나도 모르게 찍힌 감시 카메라 영상에서 내 행동 패턴이 관찰되고, 인터넷을 하다가 자주 가는 사이트의 정보가 나도 모르게 수집되고, 금융이나 교통에서도 이런 정보가 들어간다면 내 사생활이 침해당할 수 있기 때문이다. 최근 이에 대한 문제점으로 인해 개인정보 보호를 위한 가이드라인이 법제화 되서 시행되고 있는데 특히 개인의 비밀이 중요한 의료 계통이나 정보통신, 국토 교통 등에 대해서는 정부에서 나서서 국민의 비밀 유지를 위해 노력하고 있다. 이미 빅데이터의 중요성이 상용화된 일본이나 유럽등지에서는 이러한 법 개정이 나오고 있는 모양이다.

요즘 클라우드 컴퓨팅, 빅데이터라는 말은 컴퓨터 전공자가 아니더라도 신문 기사나 인터넷 기사등을 통해서 쉽게 접하고 있는 단어가 되었습니다.  특히, 클라우드 컴퓨팅은 단어의 의미는 모르더라도 이미 아이폰, Dropbox, Google Drive, Office 365을 통하여 일반 사람들도 이해하고 있는 서비스가 되었습니다. ( 참 좋은데 머라 설명할 순 없고...그런것이 되었죠  )사실 클라우드 컴퓨팅이라는 용어는 수년 전부터 나왔던 소위 "유행어" 중에 하나에서 어느덧 이렇게 우리 일상에서 너무나 자연스럽게 접하고 있는 서비스들에서 사용되고 있습니다. 많은 사람들이 클라우딩 컴퓨팅 이후에  새로운 IT 키워드로 빅데이터를 말하고 있으며 이미 아마존, 트위터, 페이스북과 같은 많은 기업들에서 빅데이터를 분석하고 이를 통해 새로운 수익 모델 또는 기존의 모델에서 수익을 극대화하는데 활용하고 있습니다. 그렇다면 빅 데이터는 무엇일까요 ?단어 그대로 "많은 데이터"를 의미하는 걸까요 ? 컴퓨터 전공 졸업자인 저도 사실 이 책을 읽기 전에는 빅데이터에 대해서 뜬 구름 잡듯이 대략적으로 개념만 가지고 있었습니다. "과연 빅데이터라는 것을 사용하면 정말 회사에 도움일 될까 ?" 그리고 "단순히 데이터가 많은 것이 왜 기존에는 없던 개념인가" 이런 식의 질문을 던지곤 했었죠. 

  아래의 그림은 제가 아마존 (www.amazon.com)에 접속했을 때 나오게되는 화면입니다. 제가 video compression을 전공한다는 것을 마치 알고 있었던 것처럼 아마존은 저에게 관련 분야의 책을 추천하고 있습니다. 저는 아마존에 로그인을 한 것도 아니고 단지 접속만 했을 뿐인데 (물론 그 전에 여러번 검색을 했었습니다.) 다음과 같이 책을 추천합니다. 이처럼 많은 회사에서는 인터넷이나 또는 다른 다양한 장치들을 통해서 다양한 데이터를 수집하고 이를 통해서 사람들의 개인 성향을 파악하다던지 또는 다른 의미있는 데이터를 뽑아 내는 일들을 하고 있습니다. 이처럼 이미 외국의 유수의 회사에서는 빅데이터의 분석을 통하여 고객의 needs를 보다 정확히 파악하고 이를 실제 경영에 적용하고 있습니다. 

 "빅데이터의 충격"에서는 먼저 앞 부분에서 빅데티어의 개념을 소개하고 왜 빅데이터의 분석과 활용이 필요한지에 대해서 예를 들어가면서 아주 잘 설명을 합니다. 그리고 뒷 부분에는 실제 빅데이터를 활용하고 있는 여러 회사들의 예를 다루고 있으며 마지막 부분에는 벡데이터의 시대에 발생될 수 있는 정보 보안과 같은 문제와 그리고 빅데이터 시대에서 어떻게 효과적으로 정보를 수집할 수 있는지에 대해서 다루고 있습니다. 특히 3V (Volume, Variety, Velocity) 라는 세 개의 단어를 통해서 빅데이터를 정의하는 1장은 제가 최근에 읽어던 책 중에서 개념을 명확히 이해하고 정의하고 있는 책입니다. 이 책의 저자가 일본의 "노무라종합연구소"의 수석 연구원이 작성했다는 점에서 질투 아닌 질투를 느낄 정도입니다. 

  이책은 빅데이터 분석을 위해 사용하는 "하둡" 또는 "R"과 같은 플랫폼 또는 소프트웨어에 대해서 설명하는 책은 아니지만 개념적으로 빅데이터가 무엇이고 이러한 것들이 실제 경영에서 어떻게 적용될 수 있는지.. 그리고 빅데이터의 활용에 따라서 앞으로의 IT 산업이 어떠한 방향으로 흘러갈 수 있는지에 대해서 저자 나름대로의 분석이 아주 잘 되어있습니다. 따라서 관련 전공자 뿐만 아니라 회사의 경영과 관련된 경영학 전공자들도 읽어보면 많은 도움이 될 것이라 생각됩니다. 

  예전에 구글에서 근무하는 분의 강연을 들은 적이 있다. ‘연초가 되면 사람들은 어떤 것에 관심을 가질까?’ 궁금증이 생기면 매년 초 1월달 검색키워드로 가장 많이 쓰인 단어를 찾아본다고 했다. 그러면 ‘다이어트’와 ‘금연’이 매년 1위를 차지한다고 했다. 그 때는 이 방법을 ‘아 그렇구나’ 정도로만 지나쳤는데, ＜빅 데이터의 충격＞이란 책을 읽고나서 생각해보니 구글 직원 그들이 사용한 방법이 바로 ‘빅데이터’를 사용한 것이었다.

  오늘날 많은 사람들이 잘 때, 일할 때 빼곤 거의 인터넷에 접속해있다고 해도 과언이 아니다. 특히 스마트폰과 통신망의 확대는 인터넷 접속 빈도를 획기적으로 증가시켰다. 그들이 입력하는 키워드, 사이트, 개인신상정보 등 이 모든 것을 활용하여 유익하게 사용하는 것이 바로 빅데이터이다. 이 책은 빅데이터를 실생활과 사업에 어떻게 활용하는지 보여줌으로써 빅데이터가 어떤 것이고, 어떻게 쓰이며, 앞으로 어떻게 발전되어 나가야 하는지 구체적으로 설명하고 있는 책이다.

  구글, 아마존, 페이스북, 트위터 등이 급격하게 성장한 것도 빅데이터를 어떻게 활용할 것인가에 대한 고민에서 시작되었다. 버려지는 쓰레기에서 가치있는 무언가를 뽑아내는 재활용 산업은 절대로 망하지 않는 사업인 것처럼(쓰레기는 늘 나오니까) 결국 입력해서 무언가를 찾아가고 소통해야 하는 네트워크 속에서 쓰고 소모될 것 같은 키워드를 분석에 가치있는 정보를 얻고 활용한다는 것은 새로운 산업 시장을 만들어낼 수 있는 가치가 있다.

  260여쪽 안에 8장으로, 그리고 각 장은 10개이상의 소 항목으로 구성되어 빅데이터에 대한 개념을 장황하게 서술하지 않고 항목별로 두 장이상 넘지 않도록 서술되었다. 덕분에 내용이 핵심만 제시되어 읽기에 부담이 없다. 가능한 한 알기 쉽게 소개하고자 하는 저자의 노력이 돋보인다.

  빅데이터를 단순한 기술 영역의 관점이 아닌 경제적 가치 창출이라는 관점에 빅데이터를 이해하고 싶다면 꼭 추천하고 싶은 책이다.

학교 수업에서 빅데이터 관리와 마케팅 활용에 관한 논문을 읽은적이 있다. 최근에 생긴 연구방법론이기 때문에, 활발하게 연구가 진행되고 있다. 평소에 IT 기기에 관심이 많고, SNS를 자주활용하기 때문에 빅데이터를 이해하는 것은 어렵지 않았다. 하지만 이를 활용한 마케팅과 알고리즘까지 파악하기는 쉽지 않았다.

시로타 마코토의 ＜빅데이터의 충격＞은 빅데이터에 대해 명확한 맥을 짚어준다. 신 IT 비즈니스 전략인 빅데이터에 대해 소개하면서 그를 무기로 삼는 미국, 유럽, 일본 기업의 사례를 보여준다. 빅데이터를 비즈니스에 활용하는데 필요한 포인트 등을 명확히 알려준다.

기존 방법으로는 수집이나 저장, 분석이 어려울 정도로 방대한 자료를 뜻하는 ‘빅데이터(big data)’가 주목받고 있다. 스마트 인프라가 보급되고 데이터 저장 및 전송 기술이 발전하면서 개인의 일상적인 행동이나 습관처럼 과거에는 수집하기조차 어려웠던 미시적인 정보까지 분석하고 활용할 수 있게 된 게 배경이다.

기업 간 경쟁이 치열해지면서 빅데이터의 가치도 높아지고 있다. 미래 경쟁환경에서는 경쟁자보다 고객을 잘 이해하고 가깝게 다가가는 것이 기업 경쟁력을 결정하는 핵심이다. 고객 행동에 관한 빅데이터를 확보한 기업은 이를 활용해 고객 개개인에게 맞춘 제품과 서비스를 제공할 수 있기 때문이다.  

구글 아마존 애플 페이스북 등 빅데이터의 중요성을 인지한 글로벌 기업들은 이미 빅데이터를 선점하고 가치를 높이기 위해 각축을 벌이고 있다. 이들 기업은 핵심 서비스를 무료 또는 염가에 제공하면서 그 대가로 천문학적인 양의 데이터를 축적하고 있다. 구글을 예로 들면 홈페이지를 방문하는 하루 수억명의 네티즌과 10억건에 달하는 검색 결과 등이 빅데이터의 원천이다.

이들 기업은 한걸음 더 나아가 하드웨어와 소프트웨어 기술을 무상으로 공개해 경쟁기업의 수익기반을 무력화하고, 자신들이 보유한 빅데이터의 가치를 부각시키고 있다. 이 밖에도 IBM 마이크로소프트(MS) 등 수많은 정보기술(IT) 기업들이 빅데이터 솔루션 개발에 공을 들이고 있다. 

저자는 빅데이터의 가치는 저비용으로 창업을 활성화시키고, 다양한 활동을 효율적으로 할 수 있다는 점은 강조한다. 빅데이터를 활용하여 성공한 대표적인 기업인 구글, 아마존, 페이스북 등을 통해 빅데이터의 가치를 피력한다. 하지만 반론도 만만치 않다. 최근에 빅데이터에 대한 맹신과 광고가 효율적이지 않다는 비판이 제기되고 있기 때문이다. 순진하게 빅데이터를 축적 했다는 것 만으로 안일하게 대처해서는 안될 것이다. 빅데이터와 SNS 시대에 즈음하여 이 책을 통해, 비즈니스 영역에서는 고객 맞춤형 경영 전략을 세워 서비스, 제품의 경쟁력을 높이고 그 밖의 다른 분야에서도 자신의 방향을 찾을 수 있길 기대해본다.  

빅데이터(Big Data)의 충격

IT업계에서 가장 떠오르는 핫 이슈가 바로 빅데이터이다.

평범한 직장인들에게는 생소한 단어라고 생각될 수 있지만 이미 우리의 생활 속에 빅데이터가 침투해 있다.

우리가 늘 휴대하는 휴대폰에서 나오는 GPS기능을 켜놓기 만해도 나의 정보가 바로 빅데이터화 된다.

큰 00마트에서 물건을 구입한 내역도 바코드에 찍히고 포인트카드에 포인트 적립된다. 나의 구입정보가 빅데이터화 된다.

빅데이터(Big Data)는 미국과 유럽에서 나온 말이다. 단어의 기원은 명확하지 않다.

“빅데이터(Big Data)란 기존의 일반적인 기술로는 관리하기 곤란한 대량의 데이터군이다”

예를 들어 가존의 일반적인 기술로는 관리하기 곤란한 복잡한 구조의 데이터를 말한다.

빅데이터의 특성은 V3로 나타낸다.

Volume (데이터양) : 현재는 수십 테라바이트 ~ 수 페타바이트 규모

예) 기존 기술로서 관리할 수 없는 데이터양으로 5년 후엔 수 액사바이트(exabyte)정도 로 불리기에 적합한 데이터양일지도 모른다.

Variety (다양한 데이터) : 구조화된 데이터 + 비구조화된 데이터

예) 웹 로그데이터, GPS 우치정보, 센서데이터, 이미지나 동영상, 감시카메라영상 등 기업이 수집하고 분석해야 할 데이터 종류는 몇 년 전보다 큰 폭으로 늘어났다.

Velocity(데이터 발생빈도) : 갱신빈도 (1초에 수십 건 이상)

예) 전국편의점에서 24시간 발생하는 POS(Point Of Sales)데이터, 전자상거래 사이트에서 사용자가 접근할 때마다 발생하는 클릭스트림 데이터, 피크타임이면 1초당 약7,000건에 달한다는 트윗, 전국 도로에서 설치된 차량정체 감지센터와 노면상태센서도 나날이 방대한 데이터를 만들어낸다.

어째서 지금 빅데이터인가

빅데이터(Big Data)의 대중화, 하드웨어 가격성능비 샹상, 소프트웨어 기술이 진화, 클라우드 컴퓨팅의 보급으로 인하여 개인도 정보를 접근하고 데이터 처리비용도 크게 낮아졌다. 반드시 직접 데이터를 축적하지 않고 처리할 수 있는 환경 조성이 되었다.

하지만 이런한 빅데이터(Big Data)의 기술인력이 부족하다. 하둡(오픈소스로 공개된 대규모 데이터의 분산처리 기술)에 정통한 인력들이 없다. 따라서 어떤 기업이 하둡 기술자를 많이 보유하고 얼마나 많이 양성하는가에 따라 기업의 흥망성쇠가 달려있다.

빅데이터(Big Data)를 이용해서 성공한 인터넷 기업으로 이베이와 징가 등 온라인 서비스기업에서 적극적으로 사용하고 있다. 전기계량기의 스마트 계량기로 사용하여 데이터를 통하여 고객의 에너지 소비 패턴을 파악하고 전력대비를 하는 세타리카의 사례도 있다.일본의 경우 코마츠는 콤트랙스라는 기계 가동 상황 원격 감시 시스템을 통하여 글로벌화한 기업이다. 매년 관련분야 매출이 세계2위의 건설회사 된 비결이다.

빅데이터(Big Data)의 이면에 개인정보보호의 문제가 발생한다.

사용자의 허가 없이 인터넷 사용자의 개인정보, 행동 이력 등을 수집하여 광고사업자 등에 되파는 회사가 끊임없이 생기고 있다.

휴대전화로 가끔씩 홍보 전화를 받아보았을 것이다. 바로 나도 모르게 나의 정보가 누출되고 있다.

바로 이러한 개인정보보호에 대한 통제가 필요하다.

미국에서는 Do Not Track 제도로부터 시작하여 오바마 정권의 소비자 개인정보보호 권리장전을 발표하기에 이르렀다.

EU에서는 EU데이터보호 지령의 재검토하여 초안을 발표했다.

일본에서도 개인정보보호법과 함께 ‘전기통신사업의 개인정보보호에 관한 가이드라인’을 통해 개인정보보호에 앞서고 있다.

국내에서도 활발하게 개인정보보호에 대한 논의가 이루어지고 있어서 다해이다.

빅데이터를 사용하는 기업들이 잘 쓰면 약이지만, 잘못 쓰면 독이 된다는 사실을 반드시 기억해야겠다.

이제 더 이상 개인의 정보보호는 개인차원에서 관리해야 하는 시대는 지났다. 사회문제로서 같이 고민하고 해결해야 한다.

빅 데이터란 단어의 뜻 그대로는 큰 데이터란 말이고 옛날에는 대량의 데이터를 쓸수가 없었다. 너무큰 데이터이기도 하고 cpu도 처리할 능력이 없었기 때문이다. 하지만 급속도로 변화하는 정보의 시대에서 흐름은 빠르게 지나가고 있다. 책의 저자는 it관련된 책으로 클라우드의 충격 또한 이전에는 없었지만 하드라는 저장 공간 외에도 클라우드라는 저장 공간이 생기면서 더 많은 데이터를 축적 할 수 있게 되었다.

2,3년이면 it는 어떻게 변할지 추측할 수도 없고 지금도 계속 발전하고 있다. 데이터는 과거에는 자료로만 생각하고 쓸모없는 데이터로 생각할 때도 많고 신경 안 쓰는 데이터들이 많았다. 하지만 시대가 흐르면서 페이스북이나 구글 그런 대용량의 데이터들이 생겨나게 되었고 많은 사람들이 이용하게 되었다. 사람들은 현재보다 더 나은 서비스를 원하고 기업들도 더 나은 서비스를 할려고 하기에 연락처 관리나 자료들을 볼 때도 분류를 나누고 그럴려면 더 큰 용량이 필요하게 된다.

예를 들어서 쇼핑몰 같은 경우에도 아직은 나오지 않았지만 사람들의 소비 형태에 맞게 집안이 부유한 사람들에게 맞춰진 가격대별로 종류들이 나오고 중산층 사람들에게 맞춰 나오고 형편이 어려운 사람들에게 맞춰서 나오는 맞춤형 상품들로 구성되어 있고 구매형태를 분석하여서 어떤 종류의 제품들을 많이 보고 구입하는지 자료를 모아두어 찾고 싶은걸 더 찾기 쉽게 해준다.

it시대에 살면서 은행을 직접 찾아가지 않고도 인터넷 상으로 결제도 할 수 있고 심지어 지금은 스마트폰이라는게 나와서 간단한 기기로도 간편하게 결제를 할 수 있게 되었다. 먼저 시작된 구글이나 페이스북과 같은 빅데이터를 사용하는 기업들이 생겨나게 되었고 그때도 새로운 단어였지만 지금은 많은 기업들이 빅데이터에 관심을 갖기 시작하고 이 업무를 하려는 기업들이 많이 생겨났다.

책을 통해서 빅데이터 시장은 일본뿐만 아니라 미국, 유럽 시장에도 앞서 나가고 있었다. 위에서 말한 빅데이터 사용하는 업체에 더불어 아마존, 트위터등 아이티에서 일하지 않더라도 생활에서 인맥을 넓히는 일이나 책을 구매하는 일이나 어마어마한 데이터 량을 저장하고 제공해주는 업체들이다. 구글에 대해 더 말하자면 구글의 자료를 제공하기 위해서 월간 900억 회에 이르는 인터넷 검색을 위해서 600페타바이트의 데이터를 처리한다고 밝혔다.

과거에는 1테라 바이트라는 말도 잘 안나오고 생각지도 못한 데이터양이였는데 1페타는 1024테라 바이트이다. 이 1페타가 600페타라는 어마어마한 양이고 이만큼 아이티가 발전하게되었고 우리가 또 알고 있는 트위터의 사용자는 1억명 이상의 실사용자가 있는데 2011년10월 기준 하루에 2억 5천만의 트윗이 발생한다.

트위터의 전체 에코시스템을 통해 살펴보면 8테라바이트 되는 데이터가 생성된다. 페이스북 사용자는 한 달에 7000억 시간을 페이스북에서 보낸다는 결과가 나왔다. 페이스북 또한도 정밀한 결과를 통해서 나의 연락처에서 서로 같은 연락처가 연결되어 있는 사람들끼리 알 수도 있는 친구라는 식으로도 나오고 내 번호가 저장된 사람들을 통해서 친구를 사귀거나 과거 친구를 만날 수 있다.

이렇게 유지 되는 데이터는 30페타바이트가 있어야 된다. 과거의 일반 기업에서는 쓸모없다고 여겼던 데이터에도 부가가치가 있음을 일찌감치 깨닫고, 이 데이터를 분석해 가치 있는 정보를 얻고 활용했기 때문에 성공했다. 이 책에서 강조하고 싶은 것은 위에서 언급한 기업이 매일 축적하고 분석하는 방대한 데이터 빅데이터이지만 활용방법을 고민하여 인류의 가치 창출이라 는 관점에서 현재와 미래를 잘보고 하면 좋겠다.

『빅데이터의 충격』을 읽고

내 자신 솔직히 거의 매일 서 너 시간 이상을 컴퓨터와 함께 하고 있다. 만약 지금 컴퓨터가 없다고 한다면 그 많은 자료들을 어떻게 확인할 수 있으면 비교할 수 있을까 하는 생각을 해보면 그 어떤 말이 필요 없을 것 같다. 무궁무진한 데이터들을 언제 어디서든지 확인할 수 있는 세상이기 때문이다. 예전과는 너무 판이한 세상에 살고 있다는 증거이다. 물론 세부적으로 분석이나 비교해보면 장단점이 있기 마련이다. 그러나 오늘날의 세상은 어떤 이유로서도 설명할 수가 없을 정도이다. 바로 이 데이터들 각 종 자료들이 넘치는 세상이다. 이 데이터들을 잘 활용할 수만 있다면 얼마든지 이 세상을 슬기로우면서도 현명하게 생활할 수가 있다는 점이다. 그러기 위해서는 절대 무시할 수 없다는 점이다. 힘들어서 이 생활을 하기 위한 나름대로 준비와 함께 꾸준한 공부가 뒷받침되어야 한다는 사실이다. 내 자신도 사용은 하고 있지만 자꾸 활용하지 않으면 자꾸 잊어버리는 것을 직접 느낀다. 아무리 좋은 자료가 넘쳐도 적극적으로 활용해 나간다면 더 좋은 방법도 고안해낼 수 있지 않을까 하는 생각도 해본다. 그러기 때문에 내 자신도 바로 이런 좋은 책들을 통해서 마음가짐을 새롭게 하면서 열심히 임해야겠다는 나름대로 각오도 하게 된다. 솔직히 지금까지는 주어진 내용에 충실 하는 위치였다. 그러다보니 빠른 변화 내용과 함께 전문적인 지식에 대해서는 아주 약하면서 모르는 경우가 더 많다. ‘빅데이터’란 용어도 여기에서 처음 대하였다. 양이(volume) 많고, 발생 빈도가 빠르고(velocity), 다양해야(variety)하는 3V의 특징을 갖고 있다고 한다. 이런 특징을 일찍부터 가장 잘 살리고 있는 세계적인 인터넷 업체인 구글과 아마존, 페이스북과 트위터 등들이 결국 세계를 제패하고 있는 이유가 바로 대용량 데이터를 통해서 빠른 데이터 분석에 앞서고 있다는 점이다. 나름대로 보이지 않는 치열한 준비와 함께 연구 투자에 몰두해오고 있기에 가능하리라 생각한다. 분석을 통해서 가치 있는 통찰과 새로운 지식을 얻고자 노력의 결과라 생각한다. 정말 갈수록 정교해져 가는 각종 편리하고 빨라지는 기술에 따라가기 위해서도 바로 이런 좋은 책을 통한 든든한 밑천을 만들어야 된다고 생각한다. 전혀 문외한이었던 내 자신에게 이 책은 빅데이터를 무기로 하는 전 세계 기업의 사례와 함께 빅데이터를 비즈니스에 활용하는데 필요한 포인트, 앞으로의 과제와 자세 등 장래 전망 등에 대해서 전문가로서 자신 있게 진단하고 있어 많은 공부가 되었다. 아울러 그냥 단순히 이용하는 정보에 대해서 그 내력을 알 수 있는 기회가 되어 너무 좋았다. 정보화 사회이다. 이런 사회에 바르고, 빠르게 적응하기 위한 여러 지식과 교훈들을 터득할 수 있어 아주 좋은 공부가 되었다.

방금 전 까지 인터넷 쇼핑으로 기저귀와 분유를 구입했다.

물론, 가급적 저렴한 곳을 찾아 두 세군데 쇼핑몰을 검색하고, 가장 저렴한 곳을 찾았다.

네이버를 찾아 뉴스검색을 하는데,

기사 옆 광고란에 기저귀가 보인다. 최저가. 방금 내가 구입한 것 보다 저렴한 가격.

다른 기사를 보기 위한 페이지 전환. 클릭.

이번엔 분유가 기사 옆 광고에 보인다. 방금 전 주문한 쇼핑몰이다.

이게 뭘까?

네이버의 연관검색어, 쇼핑몰의 오토서치, 이런 것들이 바로 빅 데이터다.

물론 아주 사소한 것들의 하나 일 뿐이지만.

빅데이터의 충격.

시로타 마코토 저자로, 김성재씨가 옮기고 한석주 씨가 감수를 맡았다.

한빛 미디어에서 펴냈다.

클라우드의 충격 이후 3년, 시로타 마코토가 제시하는 신 IT 비즈니스 전략이란 부제가 눈에 띈다.

또 다른 부제는 거대한 데이터의 파도가 사업 전략을 바꾼다!.

시로타 마코토 씨는 노무라종합연구소의 혁신개발부 수석연구원이다.

그는 현재 정보통신분야의 신기술 동향조사, 기업 전략분석, 국내외 기업의 정보통신 업계의 미래를 예측하여 기업과 사용자에게 효과적인 방향을 제시하고 있다.

책은 전체 8장으로 1장은 빅데이터란 무엇인가, 2장은 빅데이터의 기반이 되는 기술, 3장은 빅데이터를 무기로 활용하는 미국와 유럽기업, 4장은 빅데이터를 무기로 활용하는 일본기업, 5장은 빅데이터 활용 패턴, 6장은 빅데이터 시대의 개인정보보호,7장은 오픈 데이터 시대의 시작과 마켓플레이스의 등장, 8장은 빅데이터 시대의 준비로 구성되어 있다.

빅데이터란 무엇인가?

저자는 3V로 설명한다.

VOLUME, VARIETY, VELOCITY.

데이터 양, 다양한 데이터, 데이터 발생 빈도.

우리가 익히 잘 알고 있는 구글, 아마존, 페이스북, 트위터.

이들의 성장에는 데이터의 활용이 비결이다.

과거 방송과 신문, 라디오를 통한 정보습득과 학습이 전부였던 시절.

누구나 한 두번쯤(혹은 과제물로도) 스크랩북을 만든 적이 있을 것이다.

주제나 목적, 방향을 위한 자료의 수집, 취합이라는 스크랩북.

이게 바로 일종의 데이터 집합군이다.

개인적 취향의 스크랩북들을 모아 가공한다면,

이를 상업적 목적으로 만들어 배포한다면,

시장성이 있어 보다 많은 스크랩북들이 필요하다면,

이런 생각들이 바로 빅데이터의 활용부분이다.

과거 비즈니스 세계에서 개인적 취향은 기술적 문제로 취합되지 못했다.

다만 과학기술의 발달은 많은 상업적 이용을 가져오게 만들었다.

POS로 불리우는 매장관리시스템.

가게의 어떤 상품들이 잘 팔리는 지를 알려주고 상품의 구매시기를 파악하는 기계.

그런데 이제 고객의 상품선택의 취향까지 분석해 잘 팔리는 상품의 진열대를 조정하는 단계에 이르렀다. 빅데이터는 한 단계 더 나아간다.

고객의 선택취향을 분석해 직접 맞춤형으로 상품을 전달해주기까지 한다.

과거 분석이 어렵던 데이터를 가공해 유용한 예측시스템으로 발전하는 단계인 이다.

빅데이터의 충격은 한 마디로 이런 기술적 발달에 대한 이야기를 설명한다.

일본방송에서 대학연구진들이 사람들의 시선처리를 분석하는 툴을 내 놓았다고 했다.

이 분석툴은 상업광고회사에 기술이 이전되어 활용되고 있다.

대중집합장소의 광고판 설치는 사람들의 시선이 가장 많이 몰리는 곳에 큰 효과를 지닌다.

인구유동(흐름)에 대한 데이터분석 툴은 대중교통 신호체계와 인도와 보도의 확장 등에 활용된다.

실시간 버스 도착예보 시스템 역시 많은 편리함을 주고 있다.

더 간단히 설명하면, 일종의 스팸문자와 전화, 메일까지도 빅데이터를 활용한다.

아무런 연관없이 보내는 묻지마 광고형태도 있지만,

평소 취향을 고려한 주택, 차량, 금융서비스에 맞춤형 홍보가 바로 그것이다.

실생활에서 느끼는 빅데이터의 활용은 이외에도 많은 분야에서 실제 사용되고 있다.

빅데이터의 충격.

이제 소수, 일부의 영역에서 사용되던 진짜 빅데이터들이 대중화되고 있다.

이는 하드웨어 가격 성능비 향상과 소프트웨어 기술의 진화,

클라우드 컴퓨팅의 보급이라는 시대적 상황이 결합한 결과물이다.

'

과거의 가시화를 통한 미래예측'은 빅데이터 활용의 핵심이다.

빅데이터는 하둡같은 일종의 데이터 분산처리 프로세싱 기술, 클라우드 컴퓨팅의 핵심이 필요하다. 배포판이 필요하고, NoSQL, 스트림 데이터 처리기술이 활용된다.

사실 이 책에서 설명하는 각종 기술들을 전부 이해하지는 못한다.

다만 내 수준에서 살펴보는 바는 결국 내 취향들이 기업들의 상업모델(일종의 타켓 마케팅)로 활용될 수 있다는 점이다.

지금 인터넷에 접속된 이상 내 컴퓨터 안에서는 내가 지금 처리하는 작업, 클릭하는 빈도와 방문사이트 정보들이 어디론가 내보내지고 있다. 또 내가 다운받은 자료가 누군가에게 전송되는 일종의 데이터 분산저장소가 되기도 하고, 알게모르게 컴퓨터의 모든 활용도가 어딘지 모르는 데이터 집합장소로 보내지고 있는 것이다. 일종의 비선형된 데이터가 수집되는 배포판이 생겨나고, 분석되는 것이다.

저자는 매일 50테라바이트의 데이터를 처리하는 이베이와 게임에 활용하는 징가, 스마트 계량기를 도입한 센트리카, 코마츠, 리쿠르트, GREE, 맥도널드(일본)의 사례를 소개한다.

물론 한국에서도 수 많은 포털업체와 정보통신기업들이 이런 데이터를 수집하고 활용하고, 상업적으로 매매를 하고 있을 것이다.

저자는 빅데이터의 핵심활용뿐만 아니라 가장 취약점인 개인정보보호라는 부분도 언급한다.

API 공개된 정보수집은 법률적 허가를 인정하지만, 개인들이 세세한 항목까지 확인하지 않고 동의하는 습관 역시 무시될 수 밖에 없다.

최근에서야 주민등록번호를 입력하지 않고 사이트가입을 한다거나, 아이핀 번호를 부여한다거나,

이러한 조치가 있었지만 아직 멀었다.

수 많은 다른 사이트는 기본정보이외 부가적인 개인자료 입력을 요구한다. 게다가 수시로 설치되는 또는 업그레이드를 명목으로 갱신되는 정보들에 관해서는 분석전문가들이 아닌 이상 모른체 그냥 넘겨준다. 컴퓨터에 설치된 수 많은 정보수집 및 배포프로그램들에 관해서는 일반인들은 그냥 동의하고 있는 실정인 것이다.

빅 데이터의 충격.

저자는 이제 데이터 마켓 플레이스가 생겨나고 있으며, 신종 직업군이 필요하다고 이야기한다.

데이터 어그리게이터, 데이터 과학자가 필요하다는 것이다.

수집된 빅 데이터를 어떻게 활용하고, 분석하며 비즈니스에 연관지어 확대 재 생산할지를 다루는 분야의 새로운 산업이 탄생하고, 인력이 생겨나게 될 것이라는 예측.

신종 직업군에 대한 매력이 크지만, 저자의 설명처럼 그리 호락호락하지 않는 조건때문에 쉽게 데이터 과학자가 갑자기 많이 생겨나지는 못할 듯 싶다. 물론 인간의 지능이상을 뛰어넘는 또 다른 분석툴을 개발하는 업체가 나온다면 또 다른 신종 상업시장이 열리는 것은 시간문제일 듯 싶다.

확정적인 어떤 일정한 데이터를 가지고 비즈니스를 펼쳤던 기업들에게는 빅 데이터가 충격이리라.

이제는 고객의 비 선형적, 비 정형적인 그냥 일상의 모든 의미없이 생각없이 활동하던 데이터들이 바로 사업과 연관지어 지는 그런 날들이 온 것이다.

개인적인 생각으로 마무리한다면,

빅 데이터, 이왕 알게 모르게 수집되어지는 정보라면 생활편리성 향상에 도움이 되는 방향으로 활용되면 좋겠다.

소득수준에 맞는 가격대비 품질좋은 제품을 미리 추천하는 기능이 담긴 쇼핑몰이라면 더욱 좋지 않을까? 기저귀와 분유 구매시기를 비교하고, 제품선택 기준을 파악해 쇼핑몰에서 알아서 고객문자로 할인정보를 알려주고, 주문하고, 그냥 결재하고 집에서 받아보는 편리함.

이미 활용하는 일본 맥도널드의 할인쿠폰시스템처럼 소비성향을 파악한다면, 소비자의 만족감을 높이는 알아서 척척 보내주는 정보들은 참 유용하게 활용될 수 있을 듯 싶다.

빅 데이터. 인터넷의 충격과 스마트폰의 중독성이 아직 익숙치 않는 세대들에게는 또 다른 정말 충격적인 기술임에 틀림없다. 그 기술의 활용은 결국 인간들의 선택의 몫이다. 올바르게 활용되길 바래본다.

세대를 거쳐오면서 선두에 서는 사업분야는 늘 변화되어 왔지만 IT분야는 그 중에서도 현존하는 최우수 사업분야이면서 그 안에서의 변화가 놀랍도록 빠르다.

오랜 세월 전문가로 활약한 사람들도 끊임없이 공부해야 할 만큼 그 변화의 흐름이 가공할만한 것이라 이제는 가만히 있으면 정체되는 정도가 아니라 급속히 뒤로 밀릴 지경이니 대체 어디서 쉬어야 할지 모르겠을 정도다.

분명 쉬는 포인트는 필요한데 아무 곳에서나 쉬다가는 언제 도태될지 모르기 때문.

이제는 사업유형에 대한 방향을 잡는데 그치는 것이 아니라 그 안에서의 사업전략에도 촉각을 곤두세워야 살아남을 수 밖에 없다.

과연 어떻게?

＜빅데이터의 충격＞은 IT비지니스 사업전략의 효율성과 가치에 대해 거듭 강조하면서 빅데이터의 적극적인 활용과 도입에 대한 중요성에 대해 환기 시킨다.

1장에서는 빅데이터라는 용어에 대한 이해를 돕고 그 기원을 찾아 의미를 설명하고 2장에서는 빅데이터의 처리 기반이 되는 기술들에 대해 나열한다.

기본적인 전문용어와 상식을 충분히 인지시킨 후 일본과 미국 등의 빅데이터 활용사례를 보여주며 유형별로 분류하거나 활용 수준에 따른 효과를 통해 가치의 중요성을 환기 시킨다.

또한 그만큼 충분한 가치창출의 훌륭한 기반인 만큼 그 이면에 끊임없이 문제제기 된 정보보호에 대한 경각심을 촉구함도 잊지 않는다.

앞으로는 더 다양한 사례들이 더해지겠지만 지금 통상적으로 알려진 개인정보나 기업정보 유출 등에 대한 정보보호는 계속 보완하고 있음에도 아직 신뢰를 부여할 정도로 안정적이지는 않은 형편이다.

가치를 창출하는 사업전략만큼이나 중요한 것이 바로 빅데이터에 대한 보안에 대한 사전 준비와 실시간 대응이다.

예전엔 세계적인 기업들 속에서 구멍가게만하던 삼성이 지금은 희소가치를 지닌 기술력의 확보를 통해 독보적인 행보를 할 수 있는 것도 사업전략에 있어 보안을 소홀히 하지 않았기 때문이다.

그들이 보안에 신경 쓰는 비중은 사업체를 유지하는데 있어 필요이상으로 많이 보이지만 그만큼 보안이야 말로 정보화 시대에 가장 핵심적인 부분임을 미리 내다볼 수 있는 선견지명이 낳은 좋은 기획이다.

앞으로도 기업이나 개인은 역량을 강화함에 있어 보안에 신경을 쓰지 않으면 밑 빠진 독에 물 붓는 격이 될 지 모르는 일이니 사전에 항상 염두에 두어야겠다.

마지막 장에서는 그 동안의 활용 사례들을 토대로 앞으로의 비지니스 전략을 내놓는다.

사회나 기업에선 결국 소홀히 할 수 없는 빅테이터에 대한 활용과 기획 전망에 대해 늘 목말라있기 때문에 각 분야별로 창의적인 전략을 위해 좋은 자료가 되겠다.

사실 빅데이터 자체만으로는 대단한 사업적 의미를 지니지는 않기에 IT전문가라면 오히려 기술적인 측면에서만 생각하면 왜 그렇게 까지 큰 의미를 부여하는지 이해 못할지도 모른다.

그러나 모든 사업적 전략은 활용과 방법에 따라 달라지는 법.

그에 빅데이터가 활용하기 좋은 요소임은 틀림이 없기에 앞으로도 사업의 전략이 바뀐다 해도 그 영향력은 무시할 수 없을 것이다.

경영자나 전문가, 행정 정치 관계자들 모두 흥미를 가질 만 하고, 필요한 책이다.

일반인으로서도 사회를 전망하고 방향성을 잡아가는데 좋다.