빅데이터가 출현한 배경에는 무엇보다 소셜 미디어, 센서, 모바일 기기가 주도하는 데이터 폭증이 있다. 소셜 미디어는 기존 미디어의 영역을 훌쩍 뛰어넘어 이제는 대다수가 일상적으로 활용하는 핵심 소통방식이 되었다. 앞의 교황 즉위식 사례에서도 볼 수 있듯이 트위터나 페이스북 등 소셜 미디어는 데이터 폭증, 특히 텍스트뿐만 아니라 멀티미디어 콘텐츠 공유로 인한 이미지,동영상 등과 같은 비정형 데이터의 폭발적 증가를 가져왔다. --- p.20

이제는 우리의 모든 것이 데이터가 된다. 심지어 일상생활의 소소한 모든 것까지 거의 다 데이터가 되는 시대다. 사람들이 무엇을 어떻게 공부하고, 무슨 얘기를 하고, 무엇을 어떻게 사서 먹고, 어떤 상품을 어떤 식으로 구입하고, 왜 무엇을 하면서 어디서 놀고, 어디를 어떻게 여행하고, 누구와 어떤 식으로 의사소통하고, 어떤 사진/동영상을 공유하고, 어떤 사회활동을 하고 등 우리가 하는 거의 모든 것, 우리가 사용하는 모든 기기가 데이터를 만들어낸다. --- p.28-29

데이터에서 어떤 패턴을 찾아내려면 데이터가 많이 필요한데, 데이터 폭증과 이를 처리하기 위한 컴퓨터 계산능력이 획기적으로 향상되면서 다양한 영역에서 기계학습은 전성기를 누리고 있다. 메일과 스팸을 구분하는 스팸 필터의 사례를 들어보자. 스팸은 수신자가 원하지 않는데도 일방적으로 전송되는 광고성 메일로 귀찮을 뿐만 아니라 악성코드 유포, 피싱 사기 등 때문에 차단할 필요가 있다. 스팸 필터는 이 스팸을 식별해서 제거하는 프로그램이다. --- p.54

모든 휴머노이드가 반드시 보여주는 한 가지 특징이 눈에 두드러진다. 그것은 바로 무릎이 언제나 굽은 자세라는 것이다. 걸음을 걷는 휴머노이드는 직립할 수 없다. 정확히는 무릎이 곧바로 선 로봇을 만들 수는 있지만 그 로봇이 걷도록 만들 수는 없는 것이다. 한 살 전후 어린아이는 바로 서고 걸음마를 배우면서 걷지만 로봇에게 그런 자연스러운 동작을 어떻게 구현해야 하는지 전혀 알 수 없다. 그래서 직립 로봇을 만들면 할 수 없이 발바닥에 바퀴를 달아서 바퀴로 움직이게 한다. 아니면 아예 처음부터 다리가 없는 휴머노이드를 만들기도 한다. --- p.68-69

의학이나 과학 등이 매우 발달한 지금도 우리가 인간 자체에 대해 아는 부분은 아주 제한적이다. 그렇기에 인간의 자의식, 섬세한 감정, 열정, 반사신경 등 수많은 요소를 흉내 내는 건 불가능하다. 영화는 허구이니까 영화로 즐기면 되지 현실에서 일어날까봐 걱정할 필요는 없는 것이다. 알파고를 보라! 세계 최고 수준을 훌쩍 넘어선 바둑을 두지만 정작 자신이 바둑을 두는 줄도 모른다. 아니, 자기 자신이란 것도 아예 없는 소프트웨어일 뿐이다. 바둑돌을 집어서 바둑판 위의 원하는 지점에 놓을 줄도 몰라서 딥마인드 연구원 아자 황Aja Huang이 대신 돌을 집어 바둑판 위에 놓는다. 알파고에 이런 동작(작은 바둑돌을 집어서 원하는 바둑판 위치에 놓는 것)을 할 수 있는 로봇 손을 만들어주는 것은 엄청난 비용과 시간을 투자한다고 해도 거의 불가능한 일이라고 생각한다. --- p.75

일반적으로 의사결정은 문제점을 인식해 해결할 방법을 모색한 뒤, 이를 평가해 최선의 대안을 선택하는 과정을 거친다. 의사결정자가 대안을 평가할 때는 계량적 정보와 비계량적 정보를 모두 고려한다. 비계량적 정보는 문화적·사회적 배경이나 법적·정치적 요소 등의 영향을 고려하는 것이다. 계량적 정보는 문제와 관련된 데이터 분석에서 추출한 정보를 말한다. 어느 정보가 더 중요한지는 의사결정 상황에 따라 다를 수 있지만 투명하고 합리적으로 의사결정을 하려면 계량적 정보가 더욱 중요하다. 특히 미래의 불확실성이 높고 의사결정이 초래하는 파급효과가 클수록 실제 데이터 분석에서 통찰력을 추출해 이를 의사결정에 잘 활용하는 것이 필수적이다. --- p.89

예측의 첫걸음은 과거 데이터로 학습하는 것이다. 어제는 역사이고 미래는 미스터리지만 어제에서 교훈을 얻을 수 있다면 미래는 미스터리가 아니라 기회가 된다. 예측은 과거 데이터를 바탕으로 무슨 일이 왜 일어났는지 모델링(인공지능)해서 미래의 여러 가능성에 대한 확률을 계산하는 것이다. 다시 말하면 모델을 바탕으로 이벤트가 발생한 패턴을 추출해 검증한 다음 그 모델을 그대로 새로운 데이터에 적용해 유사한 이벤트가 일어날지 예측하는 것이다. 따라서 진단분석, 즉 무슨 일이 왜 일어났는지 우선 규명하기(또는 발견하기) 위해 모형화하는 것이 매우 중요하다. --- p.112

타깃은 세밀한 데이터 분석을 바탕으로 임신과 관계가 있는 25개 제품을 확인했고, 이를 활용해 각 고객에 대한 임신지수를 계산할 수 있는 기계학습 모델을 개발했다. 타깃은 이 모델을 전국 1,300여 개 매장의 모든 여성 고객에게 적용해 임신이 거의 확실한 고객 수만 명을 식별한 뒤 이들에게 산모와 신생아 관련 상품의 쿠폰을 발송했다. 심지어 출산일까지도 어느 정도 정확하게 추정해 임신의 세부 단계에 맞춘 쿠폰을 보냈다. 얼마 지나지 않아서 임신부들이 타깃을 찾았고, 산모와 신생아 관련 상품 매출이 폭발적으로 증가했다. 그에 따라 타깃의 총매출도 2002년에서 2010년 사이에 440억 달러에서 670억 달러로 크게 늘었다. --- p.128

데이터 분석을 바탕으로 한 PYMK 서비스는 링크드인을 위해 많은 새로운 고객을 만들어냈다. 링크드인이 사람들을 그 사이트로 돌아오게 하려고 보낸 다른 메시지와 비교하면 PYMK 메시지는 30%나 더 많은 클릭률을 달성했다. 그렇지 않았으면 재방문하지 않았을 수백만 명이 그 사이트를 재방문한 것이다. 이처럼 단 하나의 새로운 서비스 덕분에 링크드인의 성장곡선은 상당히 위쪽으로 급상승했다. PYMK 가치를 입증하는 또 하나의 요소는 다른 많은 소셜 사이트에서 이와 유사한 기능을 추가했다는 점이다. 지금은 페이스북, 트위터, 구글 등 대부분 사이트도 유사한 기능의 서비스를 제공하고 있다. --- p.143

영감은 순간적으로 번뜩여 문제를 단번에 해결해주는 통찰력이다. 그럼 영감은 어디에서 올까? 대부분 영감은 땀과 눈물겨운 노력에서 온다. 영감은 따로 존재하는 어떤 능력이 아니라 진정으로 99% 땀을 흘렸을 때 찾아오는 보답이다. 99% 땀이란 분석의 핵심인 ‘관련 연구를 모두 조사하고, 선정된 변수를 측정하여 변수 간의 새로운 관련성을 파악’하려고 정말 열심히 몰두하는 과정이다. 그런 치열한 과정에 몰입하고 몰두하며, 그래도 안 풀릴 때도 포기하지 않고 매달리면 어느 날 우연처럼 영감이 보답으로 주어진다. --- p.179

프로세스 혁신은 구매, 제품개발, 생산, 마케팅, 재무회계 등 기업 전 부문에 걸쳐 업무체계와 조직을 혁신해 효율을 증대하거나 비용·위험을 감소시키려는 활동을 말한다. 기업의 경쟁우위는 결국 비즈니스의 다양한 영역에서 1~2%를 증대하거나 감소하는 것이다. 예를 들면 원가, 수율, 이상탐지, 새로운 기회 포착(서비스 또는 상품 개발) 등의 측면에서 경쟁기업보다 1~2%를 높이거나 낮추는 것이 바로 경쟁우위다. 그리고 기업 내외부에 데이터가 넘쳐나는 빅데이터 시대에는 그러한 경쟁우위를 달성할 안성맞춤 수단이 바로 데이터 분석이다. --- p.205

디지털 혁신을 위해 가장 중요하고 비용도 들지 않는 출발점이 있다. 경영자가 직원들에게 숫자를 요구하는 것이다. 데이터에 근거하지 않은 보고는 받지 말고 그냥 던져버려라. 경영자가 매일매일 받는 보고(서)에는 종종 문제해결 대책이나 제안이 들어 있다. 하지만 그 제안이 데이터에 근거하지 않았다면 아예 보고서를 읽지도 마라. 정확한 증거에 입각해 보고와 의사소통을 하는 환경을 조성하려면 경영자가 먼저 데이터를 요구해야 하기 때문이다. --- p.216

현명한 분석가는 분석결과를 흥미롭고 이해할 수 있는 형태로 제시함으로써 의사결정자, 예를 들어 분석 프로젝트를 하도록 지시한 경영자의 더 많은 주의를 끌고 영감을 줄 수 있다. 즉 전달받는 경영자에게 분석결과에 따라 의사결정을 하고 행동을 취하도록 하기 위해 전달 단계를 중요시하고 많은 시간과 노력을 투입한다. 사실 아무리 훌륭한 분석을 했더라도 그것을 제대로 전달하지 못해 분석결과를 듣는 경영진이 지루해하거나 이해할 수 없다면, 그들이 분석결과에 입각해서 의사결정하거나 행동할 가능성은 거의 없다. 예를 들어 분석결과를 표 형태로 제시하는 것은 분석결과가 주의를 끌지 못하게 하는 아주 나쁜 방법이다. --- p.p264

좋은 그래프는 간단하고 정확하게 데이터의 진실을 말해야 한다. 그래프를 보는 사람은 그래프의 공정성을 평가하려면 두 가지 질문을 던져야 한다. 첫째는 그래프가 전체 그림을 보여주는가 하는 것이다. 그래프 밑부분이 잘렸는지, 축을 변화시킨다면 전혀 다른 인상을 주는 그래프가 될 수 있는지, 만일 그렇다면 데이터를 왜곡하지 않고 바른 모양을 나타내는 그래프는 어떤 것인지 반문해야 한다. 둘째는 눈금이 (특히 수직축) 과장되지 않았는가 하는 것이다. 과장된 눈금은 잘못된 인상을 독자들에게 강요하는 경우가 많다. --- p.266

분석 전문가로 실력을 연습하고 인정받기 위해 해야 할 일은 먼저 좋은 보고서를 하나 작성하는 것이다. 평소 자기가 관심 있는 문제를 선택한 뒤, 관련 자료를 읽고 정리하고, 필요한 데이터를 모아 분석한 다음 결과 보고서를 만드는 것이다. 실제로 이런 프로젝트를 수행하는 과정에서 가장 많이 배우고 실력도 는다. 이 과정에서 가장 중요한 것은 문제와 관련된 자료나 연구는 모조리 훑는 것이다. 해당 문제에 대해 내가 가장 많이 알고 고민한다면 문제해결에 가까워진다. 첫술에 배부를 수 없듯이 최초 보고서가 완벽할 수는 없다. 하지만 철학자 볼테르가 말했듯이, 사람들은 당신의 해답이 아니라 당신이 제기하는 문제와 그 문제를 풀기 위해 노력한 과정으로 당신을 평가한다. 보고서에서 당신이 최선을 다해 연구했고 분석적으로도 엄격했다는 사실을 다른 사람들이 인식한다면 그것으로도 큰 성과는 있는 것이다.

기업의 인재가 되려면 데이터 분석역량을 갖추어야 한다!<br/><br/>이 책은 총 9장으로 구성되어 있다. 1장 ‘빅데이터 시대 이해하기’에서는 빅데이터 시대에 대한 안목을 기르기 위해 빅데이터가 무엇이고 왜 중요한지를 설명한다. 2장 ‘인공지능의 과거, 현재 그리고 미래’에서는 인공지능에 대한 안목을 기르기 위해 인공지능의 시작부터 딥러닝에 이르는 과정을 요약한다. 3장 ‘데이터 기반 의사결정’에서는 데이터 분석을 바탕으로 최고의 경쟁력을 구가하는 개인과 기업 사례를 알아본다. 4장 ‘빅데이터의 꽃, 예측’에서는 빅데이터 예측이 무엇인지, 기업들이 예측을 통해 어떻게 새로운 경쟁력을 갖게 되었는지에 대해 설명한다. 5장 ‘새로운 기회를 열어주는 빅데이터’에서는 기업들이 어떻게 데이터 분석을 바탕으로 새로운 서비스와 상품을 개발하는지 알아본다. 6장 ‘창의성과 데이터 분석’에서는 데이터 분석적 측면에서 창의성이란 어떤 것인지, 분석에 창의성이 활용된 다양한 이야기들을 구체적으로 담았다. 7장 ‘디지털 전환의 어려움과 극복 방안’에서는 실패를 반복하는 기업들이 왜 어려움을 겪는지 ‘빅데이터를 바라보는 관점’을 토대로 설명한다. 8장 ‘시각화의 함정’에서는 분석결과를 전달할 때 주의해야 할 점과 분석결과를 흥미롭고 이해할 수 있는 형태로 제시하는 법을 담았다. 9장 ‘빅데이터 시대 개인이 준비할 것’에서는 개인의 성공이 분석능력에 따라 크게 좌우되는 빅데이터 시대에 개인이 분석역량을 갖추기 위해 무엇을 어떻게 해야 하는지에 관해 설명한다.