빅데이터(Big Data)가 대세이다.

현재 인터넷 이후 기업경영에 가장 큰 영향을 미칠 것으로 기대되는 것이 빅데이터이다. 2012년을 '빅데이터 시대의 원년'이라고도 한다. 빅데이터란 '3 V'로 통칭되는 세가지 특징을 가진 거대한 데이터를 말한다. '보통 수십에서 수천 테라바이트(TB) 정도의 거대한 크기(volume)를 갖고, 여러가지 다양한 비정형 데이터를 포함하고 있으며(variety), 생산-소비-유통이 몇 초에서 몇 시간 단위로 일어나(velocity), 기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합(36쪽)'으로 정의할 수 있다.

이 책은 ‘빅데이터’가 과연 무엇이며, 왜 ‘세상을 바꿀 지혜의 쓰레기통’으로 불리는지, 그리고 빅데이터 시대를 만들어내고 있는 원동력이 무엇인지를 살펴보고 있다. 또한 광범위한 산업 현장에서 빅데이터가 어떻게 경영의 모습을 바꾸어 놓고 있는지, 그리고 데이터의 생산과 소비 대국인 한국이 데이터의 활용에서도 당당한 주역이 되기 위해서는 무엇이 필요한지를 이야기한다.

빅데이터는 세상을 바꿀 지혜의 쓰레기통이다.

IT 기술의 발달과 함께 세상에 데이터가 정말 많아졌다. 그리고 이를 활용할 수 있는 도구들도 많아졌다. 우리 주변에 나날이 쌓여가는 거대한 데이터는 기존의 방식으로는 답을 찾지 못한 온갖 문제들에 대해 새로운 접근법을 열어주는 원석으로 각광받고 있다. 전 세계의 IT 업계는 물론, 다양한 민간과 공공 영역에서 빅데이터의 가치에 주목해 데이터 중심의 해결책 연구와 관련 역량 육성에 본격적으로 뛰어들고 있는 상황이다. 이러한 움직임은 최근 2~3년 사이 그 흐름이 한층 강해지고 본격 가시화되고 있다. 그야말로 ‘빅데이터 시대’가 도래한 것이다.

빅데이터가 기업경영에 영향을 미치는 방식은 크게 4가지로 분류할 수 있다. 먼저 빅데이터는 새로운 차원의 생산성 향상에 도움을 준다. 센서기술로 실물 움직임을 나타내는 데이터를 포착 활용하기도 하고, 빅데이터로 기업활동의 가치사슬에서 부족한 부분을 찾아 업무 프로세스를 재설계 하는 데에도 도움을 준다. 둘째로 발견에 의한 문제해결에도 큰 도움을 준다. 수많은 데이터 쓰레기에서 지금까지 알지 못했던 고객의 감성을 발견할 수도 있고, 미래 추세를 예측하는 데에도 도움을 줄 수 있다.

셋째로 의사결정의 과학화와 자동화에 도움을 준다. 기업경영과 관련된 의사결정에 있어 의사결정자의 편견과 맹점을 보완해 주는 역할을 수행한다. 마지막으로 궁극적으로 빅데이터는 새로운 고객가치와 비지니스를 창출시키는데 도움을 준다. 빅데이터의 다양한 정보가 가변적이고 숨겨진 고객의 가치를 포착하게 만듬으로써 새로운 유망산업 발견에 도움을 주는 것이다. 결국 '데이터 있는  곳에 비지니스 있다.'는 말이 자연스럽게 들릴 것이다. 이 책에는 이런 사례들이 다양하게 제시된다. 몇가지만 간단하게 살펴보자.

빅데이터 시대, 한국은 준비되어 있는가?

빅데이터의 본질은 데이터 속에서 찾은 정보와 지식으로 고객에게 더 나은 서비스를 제공하고 경쟁자에게 우위에 서는 것이다. 그럼 자연스런 질문이 뒤따른다. 한국은 빅데이터 시대를 제대로 준비하고 있는가?  빅데이터 사례에 있어 구글, IBM, 월마트 등 주로 외국기업들이 언급되고 있듯이 우리기업들의 빅데이터 준비와 활용상황은 선진국에 비해서 크게 부족한 실정이다. 이동통신사, 포털사이트, 온라인게임업체 등을 중심으로 관심과 준비가 확산되고 있는 실정이다. 

빅데이터와 그를 활용할 수 있는 역량은 단기간에 축적하기가 불가능하고, 일단 축적하고 나면 후발자의 추격을 봉쇄할 수 있는 수단이 훨씬 다양하다. 따라서 한국기업들이 단기적 시각에 매몰되어 빅데이터 역량을 축적하는 노력을 등한시하거나 쉽게 포기해버린다면 훗날의 ‘빅데이터 충격’에는 아예 추격을 도모해보지도 못할 것이다. 이것이 바로 지금부터라도 빅데이터에 관심을 기울여야 하는 이유이다

데이터 남용과 개인의 사생활 침해에 주의하자.

기본적으로 빅데이터는 과거의 자료에 바탕을 두어 미래의 행동을 예측하는 기법이다. 이것은 우리의 행동이 습관처럼 고착화되어 있어 과거에서 미래를 유추할 수 있다는 가정에 기초하고 있다는 점이다. 그러나 인간은 변하는 존재이다. 변화가 일어나고 있는 곳, 과거의 참고 자료가 부족한 영역등에 무분별하게 확장해 적용하는 우는 범하지 말아야겠다. 

또한 빅데이터 발전과 함께 유의해야 할 점도 있다. 개인의 정보보호 문제이다. 자칫 빅데이터를 수집, 활용, 공유하는 과정에서 개인의 프라이버시가 침해될 수도 있고 정보보유자가 '빅브라더'의 역할을 수행하는 방식으로 데이터 남용을 저지를 우려도 있다. 문명의 이기는 최대한 활용하면서도 인간의 기본권을 존중하는 지혜가 필요한 시점이다.

사실 삼성경제연구소로부터 매일 뉴스레터를 받고 있는 입장에서 이 책을 몇 달 전부터 엄청나게 광고하고 있는 것을 알았다. 게다가 내가 IT업계에 종사하고 있기 때문에 빅데이터는 당연히 나의 주요 관심사이기도 하다. 이 책에서도 언급하고 있지만 IT업계에서 빅 데이터 이야기는 몇 년 전부터 나왔지만 아마 작년과 올 해가 가장 큰 화두로 떠오르고 있기에 내가 다니고 있는 회사에서도 작년부터 준비해 올 해 하둡 기반의 빅데이터 분석 관련 서비스를 런칭했다. 그래서인지 이 책의 내용이 전혀 낯설지가 않았고 대부분 다 아는 내용이었지만, 그래도 빅 데이터와 관련된 추세와 함께 빠지지 않고 전체적인 조망을 하기에는 좋은 책이었다. 물론 내가 직접적으로 빅 데이터 관련 일을 하는 것은 아니다. 하지만 팀원들 중 몇 명이 이와 직접 관련되어 있고, 나도 이 책에서 소개하고 있는  상황인식이나 스마트미터 쪽을 직접 했기에 기술적 트렌드는 충분히 알고 있다.

사실 빅데이터가 화두가 맞긴 한데, 과연 이게 지금 당장 돈벌이가 될 것인가, 그리고 정교한 데이터 분석을 위한 기술적 진보가 어디로 향할지에 대해서는 개인적으로 반신반의하고 있다. 이 책 역시 삼성경제연구소가 낸 책이라 그런지 정답에 가까운 이야기들만 실려 있다. 말하자면 빅데이터가 화두이긴 한데, 정작 실제 돈이 될지는 잘 모르겠고, 게다가 빅데이터 처리를 당장 도입할 수 있는 한국 기업도 그다지 많지 않다는 것이다. 이 책에서는 특히 우리나라 상황에서 빅데이터가 수집되지 않는 경영현장, 역량 축적으로 이어지지 않는 소모적 데이터 활용, 빅데이터 관리와 분석에 필요한 지식 기반 취약을 빅데이터를 현장에 적용하기 위한 문제로 꼽고 있다. 다 맞는 말이다. 실상은 역설적이게도 데이터가 많아질수록 쓸 만한 정보를 찾는 일이 더욱 어려워지고 있다는 것이다.

게다가 BI나 AA같은 데이터 기반의 경영이 얼마만큼의 성과를 이루어낼지는 두고 봐야 할 일이다. 혁신과 파괴, 창조와 감성을 중요시하는 시대이니만큼 데이터를 통해 얻을 수 있는 것들은 여전히 한계가 있지 않나 싶다. 그래서 이 책도 이러한 빅데이터의 유행과 관련해 한국기업들이 먼저 냉정하게 사실들을 하나씩 돌아봐야 한다고 강조하고 있는 것이다. 이 책을 읽는 중에 의아에 했던 것 중에 하나는 가트너의 하이퍼 사이클을 "과장광고 곡선"으로 해석한 것이다. 언뜻 이해가 안 간다. 그리고 2011년도 하이퍼 사이클을 제시하고 있다. 안 그래도 이번 주부터 미국에서 가트너 심포지엄이 개최될 것이다. 거기서도 아마 빅데이터가 가장 많이 논의될 것이다. 새로운 하이퍼 사이클과 해석이 등장할 것이다. 어쨌든 이 책은 빅데이터 시대의 흐름과 우리가 준비해야 할 것을 잘 정리해준 책이라 할 수 있겠다.

플랫폼 경영을 바꾸다와 일련의 씨리즈 책이다. 가능하다면 먼저 이책을 보고 플랫폼을 보는 것이 새로운 경영생태환경을 이해하는데 도움이 될것 같다.

빅데이터, 엄청나서 감당이 안될듯한 데이터를 처리하자는 발상을 보면 확률과 통계의 개념이 적용된 것 같다. 표본을 무한대로 늘릴수 있다면 우리가 얻고자 하는 것을 충분히 확률높게 볼수도 있다는 가정처럼 말이다. 그리고 측정하고자 하는 것을 이 전제에서 검증할 수 있다면 보다 합리적인 과거와 현재의 값을 통해서 경험에 의한 예측, 감에 의한 예측을 보다 이성적인 방법으로 합리적으로 예측이 가능할지 모른다는 것이다.

책을 보면서 빅데이터의 특성을 Volume(엄청난 데이터의 양), Velocity(실시간으로 생성되는 속도), Variety(다양한 데이터)로 언급하고 있다. 이름 보면서 드는 생각은 결국 경쟁력이 엄청난 연산능력에 기인할 수 밖에 없다. CPU등도 연산처리 장비와 칩셋들의 직접도가 갈수록 한계를 보이고, 단위당 생산성대비 투입 비용과 시간이 늘어나고 있기 때문에 결국 비트코인처럼 잠재적 리소스를 병렬로 계산하는 방식이 도입될 필요성이 있다고 생각한다. 그런점에서 구글, 페이스북, 아마존등의 업체들의 경쟁력이 새삼 대단해 보이기도 한다.

이 연장선상에서 분서한다면 피터드러커의 말은 대단히 유효해진다. 지식노동자들의 역할, 지식을 넘어 지혜와 통찰의 안목을 갖은 인재가 더욱 절실해진다고 생각한다. 왜냐하면 계산은 기계의 영역이지만, 인지하는 주체이자 계산의 목적을 지정하는 것은 곧 사람이기 때문이다.  책에서 언근된(p51) 아래의 글에서 기계의 영역과 인간의 영역이 구분되기 때문이다.

"데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력이야 말로 앞으로 10년간 엄청나게 중요한 능력이 될 것이다" 

- 할 배리언 / 구글 수석 경제학자

반면 매트릭스에서 쉬지않고 흐르는 0과 1의 흐름처럼 이렇게 빅데이터를 처리해서 플랫폼화를 한다면 스노우볼 효과처럼 선점자의 경쟁력을 기하급수적으로 빠르게 성장하고, 이런 대세를 추종하는 사람들이 하나의 편을 이루어 더 많은 데이터분석에 기인한 상승효과를 갖고 올 수 있다는 생각이 든다. 한가지 무서운 점은 1984의 빅브라더, 환상속의 매트릭스가 구현되면 사업의 주도권을 넘어서 충분히 사람들이 통제되는 권력화가 가능하다는 생각이 든다. 개념적으로 충분히 가능한 현실이고, 인간적인 측면에서는 상당히 갈등이 된다. 

물론 마이클 포터의 경쟁론을 인용하며 남들보다 효율적인 데이터처리를 통한 비용절감, 데이터 처리를 통한 신사업발굴, 차별화된 무엇인가를 제공할 수 있기에 매우 중요하다. 그리고 빅데이터를 처리하는 것이 중요한 것이 아니라 그것을 통해서 무엇을 처리할 것인가를 결정하는 통찰은 분명 새로운 성장동력으로써 의미를 줄듯 하지만..책의 말미에 언급되듯 사생활보호(privacy)와 분명 격렬한 논쟁의 중심에 서 있는 것이 필요하다. 제도와 법으로 한다고 하더라도 허용의 범위에 대한 논란을 법이 속도면에서 따라가지 못할 것이기 때문이다. 

매일의 경영환경에서 책의 표현이 마치 소크라테스를 돌아보게 한다. 알고 있는 것을 안다, 모르고 있는 것을 안다. 모르고 있는지도 모른다라고 언급된 세가지 표현을 보면서 분명 윤리적 인간에게는 의사결정에 도움을 줄것이라고 생각한다. 반면 비윤리적 인간이 어처구니(맷돌손잡이)를 잡고 돌릴때 발생할 수 있는 부작용에 대한 우려도 사실 존재한다. 아직은 이 부분에 대한 언급은 적은 듯 하다.

다만 책의 표현데로 이런 선의를 갖은 시도는 결과를 처리하고 저장하는 기본의 데이터 처리방식에서 이를 통한 지능적인 분석, 분석을 통한 예측의 고도화, 에측적 의사결정시스템의 가능성을 제시한 것은 맞다는 생각이다. 

충분히 매력적인 주제임과 동시에 인간이 그처럼 합리적이고 윤리적이며, 이성적인가에 대해서는 나는 회의적이다. 호기심과 희망에 대한 확증편향 (confirmation bias)이 분명 경제적인 범주를 넘어 정치, 권력, 제도의 분야로 언급될때 그 파급효과가 가장 큰 정부기구가 전체주의에 빠지지 않을지 걱정된다.

이 책을 통해서 무엇인가를 확실하게 얻을 수는 없다. 다만 자신이 찾고자 하는 것을 빅데이터 분석기법을 통해서 이룰 수 있는 가능성과 사례를 말하고 있다. 개인적인 생각으로는 악마의 유혹이 되지 않도록 인문학적 성찰이 어떻게 반영될 것인가를 함께 고민해야하는 것이 아닌가 생각된다. 눈앞에 보이는 좋은 것은 믿음이 아니라 의심이 대상이 되어야하기 때문일까?

매달 한번 참여중인 독서모임 ＜소울리딩클럽＞의 3월 호스트는 바로 나였고, 이번에 내가 선정한 도서는 삼성경제연구소에서 출판한 ＜빅데이터, 경영을 읽다＞였다. 이전 포스팅에서 썼듯이 이 책은 나와는 정 반대의 관심 분야인 ICT분야의 도서이지만, 현재 내가 근무 중인 산업 분야이기에 도전해야 했고 읽어야만 했던 SERI 추천 도서 중 하나였다.

​

​

어려워서 아직 머리 속에 개념이 확실히 잡힌 건 아니지만, 2주간 내가 공부한 내용을 잠시 정리하자면,

처음 이 책을 선정한 이유는 2013년 보스가 가장 많이 들고 다녔던 책이었고, 나에게 이 책을 추천했기 때문이다. 그 당시에는 강한 거부 반응을 보이며 읽으려는 의지조차 없다가 올해는 읽기 싫어도 도전하고 실천하자라는 모토 속의 삶을 살기로 다짐하고, 어렵게 그리고 힘들게 책을 펼쳐 들었다.

이 책은 크게 1부 빅데이터의 시대가 온다, 2부 빅데이터는 어떻게 경영을 바꾸는가? 3부 빅데이터 시대를 위한 제언으로 나뉘어 정리가 되어 있다. 어느 책이나 그러하듯 빅데이터의 가장 기초적인 개념부터 역사의 흐름, 그리고 이것이 경영자의 시각에서 기업 경쟁력에 어떠한 영향력을 발취할지에 대하여 글로벌 기업들의 예들을 들으며 설명하였으며, 다가올 미래의 빅데이터의 활용 방법과 취약성에 대하여 논하고 있다.

현재 나는 평범한 직장인들과는 좀 다르게 별정직인 비서실에 있다 보니 보스인 사장님과 개인적인 이야

기를 할 시간이 많은데 이번 독서모임 선정도서가 바로 ＜빅데이터, 경영을 읽다＞임을 말씀 드렸더니 관

련된 논문들을 주시며 함께 읽고 정리를 해 보라고 하였다. 아마 사장님 눈엔 서른 살 여자가 바라보는 빅

데이터에 대한 관점에 대해 어떠할 지 궁금해 하셨을지도.

전문가가 아니니 자세한 내용에 대한 리뷰를 어렵겠지만, 2주 동안 나름 내 입장에서 공부를 꽤 하였다. 먼저 이 책을 읽고 BBC Horizon ＜빅데이터의 시대＞와 KBS ＜시사 다큐 창 - ‘빅 데이터(Big Data), 세상을 바꾸다’ ＞ TED ＜빅데이터와 데이터 마이닝＞을 시청했고, 한국정보화진흥원에서 분석해서 내 놓은 IT & Future Strategy 보고서들과 전자신문 기사들을 읽고, 앞으로 미래 세대엔 이를 어떻게 활용할지에 대하여 개인적인 생각들을 정리해서 2주 동안 내가 공부해온 빅데이터 이야기를 조금 정리하고자 한다.

결론은 하나. 전략과 통찰력, 그 속에서 미래를 찾아야 함을.

빅데이터는 이제 막 걸음마를 뗀 미래학 중 일부다. 앞으로 성장할 일만 남았음을.

빅데이터의 진정한 가치는 그 존.재.에 있는 것이 아니다. 이를 추출하고 활용하는 새로운 사회적 가치에 치중해야 함을.  팩트를 구체화하는 작업은 지나갔다. 이제는 패턴을 읽어야 하는 시대가 도래할 것이다. 거대함 속에서 드러나는 하나의 흐름을 파악해야 함을.

​

공상과학소설이나 영화에서만 보던 A.I. 인공지능이 현실화되는 증폭제는 바로 빅데이터.

공각기동대, 마이너리 리포트, 어릴 적 읽었던 조지 오웰의 1984의 빅 브라더 캐릭터가 머리 속에 스쳐 지나갔다.

Evidence-based: 증거 데이터가 많을수록 이론은 더욱 정교화된다라는 이론, 사실 빅데이터가 활용되는 분야는 B2C 같은 기업과 공공기관, 의료분야 등 데이터를 기반으로 산업을 구축하는 곳일 것이다. 그렇기에 개개인에겐 그리 살갑게 다가가진 않을 것. (하지만 지금 이 순간에도 당신의 데이터는 어디선가 분석되고 축적되고 있음을 잊지 말자)

​

​

과연 당신과 당신이 근무하는 기업은 어느 수준에 도달해 있는지? 데이터를 무심히 흘러가게 놔두고 있는지 아니면 적극적으로 활용하고 있는지, CEO는 이를 어떻게 바라보는지. 앞으로 다가올 미래는 당신이 빅데이터를 마주하는 자세에 달려 있음을 잊지 않았음을 한다. 당신이 CEO 라면 빅데이터를 어떻게 활용하는가에 따라 기업 경영은 달라질 것임을.

1. CEO가 적극적인 후원자가 되어 빅데이터 문화를 구축하라

2. 정보 관리를 실현하고 적절한 사람을 확보, 배치하라

3. 적절한 과제를 선택해 실행 경험을 축적하라

4. 기술도 중요하지만 시작이 더욱 중요하다

불확실성은 통찰력으로, 리스크는 대응력으로, 스마트는 경쟁력으로, 융합은 창조력으로, 정적 (Static)에서 동적 (Dynamic)으로의 통계적 관점에 대한 전환이 필요함을 잊지 말자.

​

논문을 읽다 마음에 드는 구절도 하나 발견했다.

Where is the wisdom we have lost in knowledge? Where is the knowledge we have lost in information? 지식 가운데 우리가 잃어버린 지혜는 어디 있는가? 정보 가운데 우리가 잃어버린 지식은 어디 있는가?

From The Rock, 1934 (이 시대에 이런 생각을 할 수 있는 뇌가 섹시한 이는 누구였을까?)

성공적인 빅데이터 활용 전략의 3요소

1. 자원: 활용할 수 있는 빅데이터 발견하기

2. 기술: 빅데이터 프로세스와 신기술 이해하기

3. 인력: 데이터 사이언티스트 역량 키우기

디지털 시대의 마이닝: 대규모로 축적된 데이터에서 의사결정이나 미래를 전망할 수 있는 유용한 정보를 추출한다는 의미

-＞ 금맥을 찾던 미국 서부시대 역사를 생각하면 된다. 사장님 왈, 이젠 금맥에서 은,동,구리 등 다양한 루트를 발견하는 자만이 승리한다고 했다.

빅데이터의 특성은 일반적으로 3V(Volume, Variety, Velocity)를 기본으로 1V(Value)나 1C(Complexity)의 특성이 추가되어 설명. 과거에는 답할 수 없던 인사이트(Insight)를 얻을 수 있는 기회로 정의.

빅데이터란, 첫째, 가치를 얻기 위한 데이터와 무엇을 할 것인지 아는 사람이 기업에게 필요하다는 것을 의미하는 기술, 둘째, 불륨과 속도, 다양함, 그리고 다양성으로 인해 현재의 기술로는 도저히 감당하기 어려운 규모의 데이터, 셋째, 경제적 가치 또는 솔루션을 저렴하게 제작하게 하고, 투자에 대한 비즈니스 사례를 지원하는 데이터 (아마 일반화된 개념이 아닐까 싶다)

제가 저걸사실 읽어보지는 않았는데요

처음에 리뷰를쓰면 1000포인트준다길래이렇게 쓰는데...

하,...뭐라고 써야할지.. 님들은 읽어보도 제대로된 리뷰를 남겨줘요 

그럼 저는 150자 다쓴거같아서 이만 가겠습니다~

"HBase 인액션" 리뷰하려고 마음 먹었는데.. 빅데이터, 빅데이터 말만 많이 들었지

정작 프로그래머이면서도 DB는 대학 졸업후 건드린 적이 없다.. +_+;;

"HBase 인액션"의 책 뒤쪽 겉표지에서 하둡, 맵리듀스, NoSQL 같은 단어들은 도통 뭔소리인지..

이 책에서 해답을 찾았다~!

빅데이터에 대한 기술적 이해 및 빅데이터로 할 수 있는 것에 대한 개괄적인 내용으로

기술 이해에 도움을 준 고마운 책이다.

대략 정리해보자면 다음과 같다.

* 빅데이터란??

- 좁은 의미에선.. 엄청나게 큰 데이터(수십~수천 TB)를 갖고,

여러 가지 비정형 데이터를 갖고 있으며, 생성-유통-소비(이용)가 몇 초에서 몇 시간 단위로 일어나

기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합

- 넓은 의미에선.. 관리와 분석이 매우 어려운 데이터 집합,

그리고 이를 관리, 분석하기 위해 필요한 인력과 조직 및 관련 기술까지 포괄하는 용어

* 구글 파일 시스템 :

- 수집한 데이터를 64MB 단위로 쪼개서 분산된 조각(chunk) 서버에 저장한다.

중간중간 데이터를 복제하여 다른 조각 서버에도 저장해두고 필요한 데이터는

어느 조각에 담겨 어느 서버에 있는지 그 정보는 모두 마스터라는 하나의 중앙 시스템이 모아서 관리

- 외부 응용 프로그램에서 데이터를 요청하면 모두 일단 마스터가 접수해서

현재 부하가 적은 조각 서버를 찾아내어 접속한 다음 파일을 받아가라고 안내하고는 손을 뗀다.

그러면 응용 프로그램과 해당 조각 서버가 직접 통신하며 파일을 전송한다.

- 마스터는 도중에 계속 각 조각 서버의 상태를 점검하고 데이터 조각이 충분히 복제되도록 관리한다.

* 맵리듀스 : 분산형 컴퓨터에서 연산을 나눠서 분석을 하기 위한 알고리즘(구글에서 제안)

＜p.81 그림＞

* 하둡 : 야후의 지원을 받아 더글러스 커팅이 만든 구글의 파일 시스템과 맵리듀스의 오픈 소스

* NoSQL (여기서 No는 yes,no할 때 no)

- 비관계형 데이터베이스

- 빅데이터는 비정형의 모습이 많아 기존의 RBDMS처럼 틀에 맞게 데이터를 넣을 수 없어

주로 (키,value)의 모습으로 데이터를 저장해둠

* 빅데이터를 이용하는 예

1) 구글의 번역 시스템

- EU의 공문서가 EU 각국의 언어로 꼼꼼이 번역되는 것을 이용해서 이러한 공문서 및

전 세계의 책들을 전자화해서 다양한 번역 패턴을 찾아내서 구글 번역 시스템 서비스 시작

2) 구글의 검색

- 검색 질의어와 수 많은 자료들을 연결하여 빠른 시간안에 검색 결과를 보여줌

3) '판도라'의 음원 추천

- 개인 맞춤화된 음악방송 사이트이지만 음악 추천 시스템인 뮤직 게놈 프로젝트를 이용해

음악적 취향과 그 사람의 다른 면모와 어떤 관계가 있는지 파악한다.(성격, 행동 등)

4) '징가'의 아이템 구매

- 무료 소셜 게임을 제공하는 업체라서 아이템을 사는 사람이 드물지만

아이템 사는 사람들의 패턴을 분석하여 이용

(ex. 독립 기념일에 독립 기념 관련 아이템을 산다든지..)

이런 기반되는 논문을 2004년부터 만들어서 공개하고 구글은 참.. 대단한 회사다.

암튼.. 나도 참 프로그래머라고 명함이라도 내밀려면 공부 좀 더 해야겠다.ㅠ

동기

IT 컨설팅회사 기획/미케팅 부서에서 면접을 보게되어 트렌드 파악 목적으로 읽게 됨. IT컨설팅 산업 자체도 주마간산 식으로만 알고 있는 탓에 본 책이 직접적인 관련이 있다고 장담할 수는 없으나, 결국 각 기업의 IT 인프라 구축이나 SI(System Integration)이 효과적/효율적인 경영을 목적으로 하고 있으므로 '빅데이터의 활용'이 결코 무관하지는 않다. 어떤 면에서는 빅데이터의 중요성을 알고 이를 활용할 수 있는 기업의 활동을 장려하기 위하여, 빅데이터를 활용할 수 있는 시스템을 개발/구축하는 사업이 IT관련 회사에 새로운 기회가 될 수 있을 것이라 생각한다.

추천대상

경영자에게는 새로운 경영화두를, 일반인에게는 빅데이터라는 새로운 개념 및 활용에 대하여 쉽게 이해할 수 있어, 향후 빅데이터를 활용하는 기업의 행보를 파악하는 재미를 가질 수 있음

1) IT 업계 또는 부서 종사자 및 해당 분야에 관심이 있는 사람,

2) 경영자 (이 책을 읽고 경영혁신의 일환으로 빅데이터 활용을 고려해 볼 수 있음),

3) 새로운 개념과 그 활용에 관심이 있는 모든 사람

    . IT에 문외한인 사람도 쉽게 읽을 수 있음.

    . 개념이 생각보다 어렵지 않음.

    . 무엇보다 빅데이터를 활용하기 위한 소프트웨어 등 시스템 구축 방법에 관한 실용서가 아니라,

      빅데이터의 개념 및 활용의 필요성/방향에 대하여 알기 쉬운 예를 들어 설명하고 있어

      고개를 끄덕이며 쉽게 읽을 수 있는 책임.

요약

정보통신기술(ICT; Information & Communication Technology)의 발달과 대중성으로 인하여, 빅데이터가 기업에 새로운 경영방식의 화두가 될 수 있음을 보여준다. 그냥 흘려보내는 정보/데이터를 효과적으로 수집/저장하고 이를 활용하여 통찰력을 얻음으로써, 직원은 보다 스마트하게 일하고 회사는 혁신할 수 있을음 보여준다.

빅데이터를 활용한 기업의 예로, 아마존은 최초의 인터넷서점으로도 이미 혁신적인 기업이나, 그 사업으로 인하여 수집하게 된 방대한 고객정보와 고객의 loyalty를 활용하기 위하여, 전자제품, 의류, 식품 등 거의 모든 제품을 취급하는 인터넷쇼핑몰로 사업을 확장하였다. 또한, 아마존 웹사이트에서 고객의 동선(클릭수, 동선 등) 정보를 소홀히 하지 않고 이를 수집하고 분석하여 1) 추천상품이 뜨게하고(동일한 카테고리내의 타사 제품 또는 비교적 저렴한 유사제품 등), 2) 유사고객의 구매제품을 제시하는 등('이 제품을 구매한 고객은 이 제품도 구매했습니다.')고객맞춤형 판매전략을 펼쳤고 이제 이 판매전략 역시도 e-commerce 기업에서는 보편화가 되었다.

    - 빅데이터의 정의

   위의 한 예로도 기업 및 정부기관의 빅데이터 활용의 필요성과 실효성에 대하여는 어느 정도 감이 온다. 그렇다면 빅데이터란 정확히 무엇일까? 데이터란 말그대로 '자료'이다. 빅데이터란 '방대한 자료' 쯤이 될 것이다. 이 책의 저자는 광의적 의미로 아래와 같이 정의한다.

   . 빅데이터란 기존의 방식으로는 관리와 분석이 매우 어려운 데이터의 집합. 그리고 이를 관리/분석하기 위하여 필요한 인력과 조직 및 관련기술까지를 포함.

    - 현상

        1. 데이터를 읽으면 트렌드가 보인다.

        . 유행성 독감의 전파를 알리는 것이 과거에는 뉴스 등의 언론 매체였다면 이제는 트위터와 같은 SNS의 정보라는 사실은 이제 '사실'이다. 대중에 보도가 될 때는 어느 정도 발생 건수가 공식적으로 집계되었을 때이지만, SNS를 통한 소통이 대중화된 요즘에는 감기의 전파 조차도 실시간으로 피부로 느낄 수 있다. 감기에 걸린 사람들이 '나 감기 걸렸어요. 콧물도 나고 목도 아프고 죽겠네..' 글을 올리거나, 감기 기운이 조금만 있어도 '00아 감기 조심해라. 훌쩍훌쩍.. 이제 목도 아프려고 한다.'라고 글을 올린다. 지극히 개인적인 일이지만 이런 데이터들이 하나하나 모이면 트렌드가 되고 현상이 된다. 실제 예가 책에 소개 되어 있다. 

       2. 기업간 경쟁은 빅데이터의 활용 싸움

       . 스마트폰 사용데이터만 분석해도 수요변화예측이 가능함. 즉 기업간 경쟁이 데이터와의 전쟁이 되고 있다. 수많은 데이터로 부터 누가 더 빨리, 유용한 통찰력과 지식을 찾아내느냐의 싸움이 경쟁이 핵심이 되어가고 있으며 -＞ 정보기술의 발전도 이러한 방향으로 진행되고 있음. 

       . 고객의 니즈 파악을 위하여 과거에는 직감에 의존 (현장 판매원들의 센스에 의존)했다면 이제는 선진적인 데이터와 분석기법으로 무장한 경쟁기업들이 출현

      3. 한국의 빅데이터를 활용한 역량 개발이 실현되지 않고 있다. 그 이유는 다음과 같다.

      . 1) 빅데이터가 수집되지 않은 경영현장 (부서이기주의, 수집 시스템 부재), 2) 역량축적으로 이어지지 않는 소모적 데이터 활용 (경영자 직관으로 결론을 만든 후, 합리화 수단으로 데이타를 활용함) 

    - 효과

       . 기업이 생산성을 향상하거나 (정보산업, 컴퓨터/전자제품, 제조업, 금융업 등) 2) 새로운 가치 창출 가능함(정보산업, 금융업, 공공부문 등). (* 앞서 기술한 아마존의 빅데이터 활용은 새로운 가치 창출의 예라고 할 수 있음.) 

기타

- 과거 기업의 생산성 향상이 현장 노동자 (매장 및 공장의 근로자)로 부터 실현되었다면 빅데이터의 시대에는 빅데이터를 분석하고 활용방안을 제시할 지식노동자의 역할이 증대된다.

  . 과거 (생산과 물류활동의) 생산성 향상을 위한 기업의 tool

    : ERP (Enterprise Resource Planning ; 전사적 자원관리) system 및 SCM (Supply Chain Management)

- 한국 소비자가 테스트베드로 활용되는 이유

  1) 변화에 익숙함 (빨리빨리 문화)

  2) 사회적자아(social self) ＞ 주체적자아(subjective self) : 한국인은 남들에 비치는 자기 모습을 신경씀.

빅데이터는 데이터 자체가 중요한게 아니고, 이 데이터들을 어떻게 활용하냐가 중요하다!!

미래는 과거의 데이터로 추정을 한다. 현재의 데이터를 경시하면 무당들의 설자리는 좁아질 것이다.

가히 혁신적인 책이 아니라고 할 수 없다.

나는 이 책을 읽은것에 대해서 전혀 후회하는 바가 없다. 

아주 아주 실용적이고 유익한 책이며 미래를 향해 나아가는데 하나의 원동력이 될 수 있을 것이다.

'빅데이터' 흘러가는 유행이 아닌 미래의 새로운 산업을 이끌어 나갈 주옥같은 존재~

빅데이터란 보통 수십에서 수천 테라바이트 정도의 거대한 크기를 같고, 여러 가지 다양한 비정형 데이터를 포함하고 있으며, 생성-유통-소비(이용)가 몇 초에서 몇 시간 단위로 일어나 기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합을 의미한다. 그리고 이를 관리, 분석하기 위해 필요한 인력과 조직 및 관련 기술까지 포괄하는 용어이다. 

1. 규모(Volume)

2. 다양성(Variety)

3. 속도(Velocity)

●의사결정에 빅데이터의 통찰력을 활용하는 4단계

1단계: What happened?

2단계: Where exactly is the problem?

3단계: What is happening next?

예측은 남들이 예상치 못하는 점을 잡아낼 수 있어야 한다. 이와 관련하여 구글의 수석 경제학자 할 배리언은 다음과 같이 말했다. 

돈을 벌기 위해서는 '어떤 일이 벌어질 것인가'와 '사람들이 생각하는 일이 일어날 것인가' 이 두가지를 예측할 수 있어야 한다. 돈을 버는 경우는 두 예상치의 차이를 알 수 있을 때이다. 

4단계: What's the best that can happen?

●기업들은 데이터를 수집, 분석, 활용하는 기존 방식을 혁신적으로 바꾸지 않으면 안 된다. PG&E 사례에서와 같이 좀 더 광범위하면서도 섬세하고 즉각적인 방식으로 데이터를 활용해야 할 것이다. 

●앞으로 필요한 인력은 분석된 정보를 비즈니스적인 의미로 해석할 수 있는 사람들이다. 기술은 물론 비즈니스에 대해서도 깊이 이해하고 있어 기업에서 필요한 정보와 지식이 무엇이며, 이를 빅데이터로부터 어떻게 얻을 수 있을지 제시할 수 있어야 한다.