빅데이터 전문가가 쓴 빅데이터 사용에 대한 책이다.

"미래의 시민에게는 통계적 사고가 읽고 쓰는 능력만큼이나 중요하게 될 것이다.(사무엘 윌크스)"

이 책은 통계적 사고의 중요성을 말한 문장을 언급하면서 시작한다.

현대 사회는 빅데이터와 인공지능 시대이다.

이 두 가지를 함께 하지 않는다면 개인도 기업도 도태될 것이다. 

시장 조사를 할 때도, 마케팅 조사를 할 때도, 보고서를 작성할 때도 이제 빅데이터 분석의 필요성을 실감한다. 

이 책은 빅데이터가 무엇인지 빅데이터에 어떤 기회가 있는지 빅데이터를 어떻게 분석할 것인지를 알려주는 책이다.

저자는 학부와 석박사과정에서 경영학, 마케팅, 통계를 전공하였다.

1분 동안에 페이스북에는 메시지 15만건과 사진 14만건이 올라오고, 인스타그램에는 34만건, 유튜브에는 500시간이 업로드되니 실로 데이터 폭증의 시대이다. 

빅데이터의 활용 관점에서 이 책을 읽어보았다.

빅데이터를 활용하는 방법을 알고 싶었다.

빅데이터를 활용하기 위해서 우선 필요한 것은 '디지털 전환'이다.

그리고 데이터에서 고객과 시장에 대한 통찰력을 추출하는 능력을 갖추어야 한다. 

더불어 데이터에서 추출한 통찰력을 고객 만족과 기업성과를 높이는 방향으로 의사결정에 활용하는 체계를 갖춰야 한다.

경영자는 분석지향적 조직문화를 구축하고 강요해야 한다.

구글은 "모든 의사결정, 특히 서비스와 제품에 관한 의사결정은 데이터 없이는 결코 하지 않는다"를 모토로 삼고 있다고 한다.

책에는 빅데이터 뿐만 아니라 인공지능과 기계학습에 대한 내용도 다루어지고 있다.

최근 IT부분에서 각광받는 분야를 잘 담고 있는 책이다.

나이팅게일은 크림전쟁의 야전병원에서 입원 환자의 사망률이 왜 43%나 되는지를 문제로 삼고, 병원의 위생을 깨끗이하는 등의 개선 노력을 하나하나 기록하고 수집하여 데이터화했다.

나이팅게일의 노력은 사망률을 2%로 감소시켰고, 문제에 대해 자료를 수집하고 표와 그래프로 만들어 정리하는 것은 응용통계학의 시작이었다고 한다. 

나이팅게일의 업적은 기록과 수집 그리고 분석이 빅데이터 활용의 모두라는 것을 보여주는 사례이다.

구글은 인사관리에 빅데이터를 활용하고 있다.

300개 설문 문항으로 직원들의 경험, 인성, 성과를 측정한다. 

구글 입사지원자는 구글 지원용 설문지에 응답하고, 구글은 이 응답값을 점수화해서 면접 대상자를 선발한다.

구글다운 인사관리이다.

빅데이터가 활용되는 대표적인 분야들이 있다.

이상탐지 : 질병진단, 미숙아진단

개인화 추천 : 넷플릭스의 영화 추천 엔진

데이터 연계 분석 : 링크드인의 당신도 알 수 있는 사람

네스트랩스의 온도조절기 사업이 눈에 띄었다.

1. 멋진 디자인

2. 와이파이 장착 - 온라인으로 소프트업데이트

3. 센서 장착 - 실제 사람이 있는지 탐지해 그에 따라 온도 조절

4. 학습기능 - 사용 후 몇 주가 지나면 인공지능이 정보와 사용패턴을 분석해서 자동으로 작동

네스트랩스는 온도조절기 사업에 이어서 연기탐지기, 방범카메라를 출시했으며, 네스트랩스는 구글에 인수되었다.

창의성이 중요한 시대이다.

영감을 끌어올리기 위해서는 많은 노력이 필요하다.

창의성 = 존재하지 않는 관계를 보는 능력 (통계학자 토머스 디시의 말, p.166)

영감 = 순간적으로 번뜩여 문제를 단번에 해결해주는 통찰력(p.179)

책을 읽다보니 챗봇에 대한 내용이 나온다.(p.206)

디지털 전환을 추진하는 기업들이 실제로는 실패하는 경우가 대부분이라고 한다. 

왜 그럴까?

경영자, IT담당자, 현업담당자의 빅데이터를 바라보는 관점이 다르기 때문이다.

각자 생각하는 방향이 다르고, 제대로 된 협업이 이루어지지 않기 때문이다. 

폭격기 기체의 총알구멍 분포를 해석하고 방탄판을 어디에 설치해야 할까?

비행장으로 돌아온 폭격기의 총알 맞은 부분을 조사하고 가장 많은 곳에 방탄판을 설치하는 것은 무의미하다.

왜냐하면 총알을 맞고 추락한 폭격기는 돌아오지 않았다는 것을 간과한 것이다. 

오히려 돌아온 폭격기에서 총알이 맞지 않은 부분에 방탄판을 설치해야 추락을 막을 수 있다는 해석이다.

돌아온 폭격기의 총알 구멍은 비행기에 심각한 영향을 주지 않았다는 것을 보여주는 것이다.

이 부분을 읽으면서 우리가 데이터 분석에서 주안점을 둘 곳이 어떤 곳인지를 깨닫게 해준다.

보이는 데이터에만 집착할 것이 아니라 보이지 않는 데이터도 고려해야 한다.

매우 흥미로운 사례이다. 내 입에서 저절로 "오~ 그렇구나"하는 감탄이 나왔다.

결국 빅데이터를 활용한 경영을 하기 위해서는 경영자가 변해야 한다.

경영자가 데이터 기반 경영의 확고한 신념을 가지고 이를 실행할 때 회사는 디지털 전환을 이루게 된다.

결국 모든 열쇠는 사장이 가지고 있다.

디지털 전환을 이루기 위해서 사장은 무엇을 해야할까?

1. 직원에게 숫자를 요구하라. 데이터에 근거하지 않은 보고는 받지 말고 그냥 던져버려라

2. 최소한의 필요한 분석적 지식을 익혀라

3. 장기적 투자임을 잊지마라

4. 진행을 지속적으로 체크하라

5. 분석 전문인력을 확보하라

책 마지막에는 분석결과를 시각화하는 방법이 기술되어 있다.

효율적이고 효과적으로 데이터를 보여주기 위한 그래프 작성법이 나와있다.

빅데이터 시대에 개인이 살아남기 위한 방안도 알려준다.

숫자를 두려워하지 말고, 분석역량을 키우고, 통계와 확률과 친해져야 한다. 

분석 전문가로 성장하는 방법을 이렇게 알려주었다.

1. 보고서를 작성하라

2. 데이터 분석 동호회를 만들어라

3. 규칙적으로 세미나를 열어라

4. 계량분석가가 되어라

이 책에 빅데이터를 분석하는 스킬과 팁은 없다.

빅데이터를 활용하기 위한 마인드와 필요역량을 주로 설명해주고 있다. 

나이팅게일, 롤스로이스(엔진 업체), 하코(청소장비 업체), 아르키메데스, 케플러, 멘델, 세종과 이순지, 넷플릭스, 링크드인, 구글 등 여러 인물과 기업이 사례로 등장해서 흥미롭게 읽을 수 있게 해준다. 

기업의 디지털 전환과 빅데이터 중심 경영에 필요한 요소들을 잘 정리해 놓은 책이다. 

이론과 사례가 잘 융합되어 있는 책이다. 

빅데이터 경영과 디지털 전환에 관심 있는 기업가와 회사원에게 매우 유익한 책이라 생각한다. 

이 책에 나와있는 사례들을 모방해서 재창조한다면 그 회사는 디지털 전환을 보다 손쉽게 추구하리라 생각된다.

매우 유익한 책이고, 매우 흥미롭게 읽었다.

※ 빅데이터 사용설명서는 책과콩나무카페 그리고 메이트북스에서 책만을 제공받아 읽은 후 작성하였습니다. 

요즘 유행하는 빅데이터란 말은 많이 들어봤자만 '빅데이터 사용설명서'라는 제목을 보는 순간 어떤 내용인지 깊이있게 알고 싶어졌다. 그리고 개인이 빅데이터를 어떻게 사용하는 건지 궁금하였는데 이 책에서는 재미있고 누구나 이해할 수 있도록 쉽게 이야기 하고 있다.

이 책 속에서 운이란 기회가 왔을 때 준비되어 있어야 한다고 반복하고 있다. '빅데이터' '분석적 사고' '분석 능력' 이런 단어와 친하고 싶지 않는 사람이 대부분일것이다. 나 또한 이 책을 읽기 전까지만 하더라도 그러했다. 그렇치만 이 책을 읽고 나서는 데이터, 확율, 분석적인 사고를 반드시 가져야 하겠다라는 인식을 하게 되었다.

운이란 무엇일까? 운이란 기회가 왔을 때 준비되어 있는 것을 말한다. 기회가 왔는데 준비되어 있지 않으면 불행한 것이다

P228

현재 마케팅을 전문으로 하고 있는 나는 이 책에서 여러가지 영감을 얻을 수 있었는데 그 중에 고객관리도 지금까지는 대충의 메모만을 남겼었는데 이제부터는 좀 더 체계적인 기록과 데이터를 세밀하게 수집하여 분석적인 사고를 가져야 겠다고 생각하게 되었다.

"한 가지에 치열하게 집중하고 물도하는 생각(사고)이 쌓이고 쌓여 어느 순간에 폭발하는 불꽃처럼 원하던(찾고자 했던) 바가 환하게 꽃피우는 것이 영감입니다.(중략) 영감이란 고심의 깊이와 몰두의 강도에 따라 결정된다"

P181

급변하는 시대에는 지금까지의 익숙함에서 벗어나야 한다는 글을 많이 접하였는데 이제부터는 데이터 분석 역량에 관한 내용에 관심을 많이 가져야 겠다. 우리들의 노력은 결코 배반하지 않는다고 하는데, 빅데이터를 제대로 분석하여 활용하는 역량을 갖추기 위해서는 끊임없는 관심과 노력이 있어야 할 것이라 생각한다.

인공지능과 빅데이터 시대를 살아가야만 하는 우리들이 빅데이터를 어떻게 분석하여 활용하여 자신만의 가치와 전문성으로 차별화된 경쟁력을 갖출 것인가라는 생각을 가지고 있는 사람이라면 저와 같이 이 책을 통하여 어떤 영감을 가질 수 있기를 기대해 봅니다.

정형 데이터 : 바로 통계 분석이 가능한 형태(표)로 정리된 데이터로 열은 항목이고, 행은 저장되는 단위가 된다. 기존의 시스템에 저장된 데이터, 예를 들어 회원 정보, 구매 정보 등은 모두 정형 데이터다. 

반정형 데이터 : 데이터 구조가 일관성이 없는 데이터로 속성을 나타내는 메타 데이터를 갖는다. html , 웹로그, 센서 데이터 드이 대표적이다. 

비정형 데이터 : 형태 자체가 정해지지 않는 텍스트(글),음성, 이미지, 동영상,GPS 등과 같은 데이터로 분석하려면 정형 데이터로 변환해야 한다. (-25-)


고객(회원) 이탈 (통신사, 보험사, 은행, 증권사, 포털 사이트 등)

사기 탐지(보험 청구, 세금환급, 수당 청구, 정부 계약 등)

채무 불이행 (대출,신용칵드, 외상매출 등)

이상탐지 (환자,미숙아,암 조기 진단 등)

고장 탐지 (인공위성, 원자로, 항공기, 선박, 시추선, 공장 설비 등)

기타 (직원 이탈, 학교 중퇴 가능성, 거짓말 여부 탐지 등) 

빅데이터 분석이 이상탐지 목적으로 가장 많이 활용되는 이유는 바로 위 사례를 대부분 인공지능으로 자동화할 수 있기 때문이다. (-116-)


네스트랩스는 2016년 가정용 방법 카메라를 출시했으며, 현재는 40여 종류릐 IoT 스마트홈 기가가 네스트랩스에 연동되어 있다.이제 네스트랩스는 스마트홈의 허브가 되어 미국 대부분 가정에서 무슨 일이 벌어지는지에 대한 데이터를 자동으로 축적하고 있다. (-161-)


업무 관련성 :업무에서 자신을 돋보이게 할 뿐만 아니라 성과도 높일 수 있어야 한다.
차별적 능력 :나만의 차별적 능력이자 브랜드가 될 수 있어야 한다.
투자대비 효율성 :자기 계발을 위한 투자에 비해 그 효과가 훨씬 커야 한다.
비용 :다양한 방법으로 독학이 가능해서 비용이 적게 들어야 한다.
장기적 비전: 비래에도 계속 전문성과 차별성이 확보되는 것이어야 한다.
부수효과 :자기계발 과정에서 창의성이 함양되는 부수효과도 있어야 한다. (-272-)


빅데이터, 사물인터넷, 클라우드, 빅데이터,모바일,이 ICBM 기술은 제4차 산업혁명의 핵심 기술이다. 이 네가지 기술 중에서, 빅데이터 산업은 우리 삶을 변화시키고 있으며,인간의 삶의전면적인 개선과 혁신을 가져온다. 먼저 비정형화된 데이터를 정형화된 데이터로 열과 행으로, 속성에 따라 바꿔 나가면서, 그렇게 수집된 빅데이터는 우리 삶을 편리하게 바꿔 놓았다. 아마존 그룹의 핵심 인프라 중 하나인 아마존 웹서비스 AWS, 무인 쇼팅몰 아마존고가 완성되었고, 제프 베이조스가 세계 최고의 부자가 될 수 있었던 이유다. 


특히 빅데이터 산업은 단 하나의 산업으로 독자생존할 수 있더라도 큰 비전과 이프라가 될 수 있다.우리가 즐겨 쓰는 지도 서비스,GPS 서비스,스마트홈 서비스의 밑바닥에는 빅데이터 산업이 있다. 잡안에 반려동물을 혼자 두어도 안심할 수 있는 이유는 여기에 있다. 내 삶을 관찰할 수 있고,그 관찰된 데이터가 새로운 산업 인프라가 된다. 조선 후기 김정호의 대동여지도가 지금 우리는 빅데이터 산업으로 바뀐 것이다. 그러한 변화 속에서, 구글의 딥마인드 기술을 통해 인간이 해왔던 일들을 대체하게 된다. 우리 사회의 이상징후들을 빅데이터 기술을 통해 예방하거나, 예측할 수 있고, 감지하게 된다. 그거한 것들이 우리의 삶을 과거보다 더 안전하게, 편리하게 바꿔 놓았고 빅데이터 기술들이 우리 삶의 자본이 새어나가는 틈을 메꿔 놓았다. 직장인들이 일를 하지 않고, 비효율적인 상황에 놓여지는 것을 예방하고, 집에 사물인터넷과 빅데이터 산업으로 ,외부의 사람이 침입하는 것을 감지할 수 있다. 내가 운전하는 차가 어디에서,어디로 움직이는지 알게 되면, 지역과 장소에 최적화된 맞춤형 산업을 구축할 수 있다. 이러한 모습들은 단순히 산업전반의 개편 뿐만 아니라,새로운 인프라 가치를 발경할 수 있다. 장소와 시간이 씨줄과 날줄로 엮인 빅데이터 사업은 빅데이터 하나의 가치가 하나의 의미가 되고,그 의미가 우리 삶을 바꿔 놓았다. 아마존 쇼핑에서, 물건이 적제적소에 배달되었고,물류 혁명와 유통 혁명이 완성될 수 있었던 이유는 빅데이터 산업과 알고리즘 인프라가 결합되어, 우리 삶의 라이프 스타일의 개선을 도모하였기 때문이다. 앞으로 인간의 삶에 있어서,노동의 질을 변화시키고, 삶과 일의 조화와 균형을 꾀할 수 있는 이유는 여기에 있다. 그리고 인간은 앞으로 인간의 진화를 인공지능 진화에 반영할 개연성이 있다.

자주 보는 유튜브에서는 알고리즘이라고 해서 내가 좋아하는 영상과 비슷한 영상들을 추천해 준다. 이런 정보는 어떻게 알았을까라고 생각하겠지만 이런 것들이 빅데이터이다. 자주 가는 쇼핑몰에서도 자주 구입하는 품목에 추천하는 품목이 있다. 그런 것들이 모두 빅데이터가 쌓여 나에게 추천을 해 주는 것이다. ＜빅데이터 사용설명서＞는 빅데이터 시대를 더 자세히 이해하고 빅데이터로 할 수 있는 일들을 알아본다. 그리고 새로운 기회를 열어주는 빅데이터를 통해 창의적인 미래를 예상해 본다.

모바일이 세상에 나오고 사람들은 모든 행동이 모바일을 중심으로 이루어지는 것도 데이터 폭증의 주범이라고 할 수 있다. 모바일의 핵심은 손안에서 손쉽게 처리가 가능하게 하는 것으로 발전했다. 전에는 숫자와 텍스트는 물론 이미지와 동영상 등을 포함하는 엄청난 양의 데이터를 저장하는 데 비용이 많이 들었다. 그러나 이제는 저장 비용이 줄어들고 데이터 처리 기술이 발달하면서 데이터 처리 속도 또한 비약적으로 빨라졌다. 빅데이터의 원천은 SNS, 모바일 기기, 스마트폰, 공장 장비, 설비 등이며 데이터는 SNS 데이터, 공공 데이터, 기업 내부에 축적된 데이터로 구분할 수 있다. 이제는 우리의 모든 것이 데이터가 된다. 사람들의 거의 모든 활동이 자동으로 쌓여 모이면 다양한 비즈니스 관심사, 검색 트렌드, 구매, 여행, 패션, 외식, 배당 등에 대한 데이터가 된다.

빅데이터는 고객과 시장에대한 풍부하 정보를 담고 있는 보물이라고 할 수 있다. 빅데이터 분석을 바탕으로 고객과 시장에 대한 정보를 추출해서 더 빠른 의사결정과 더 나은 의사결정을 할 수 있게 도와준다. 데이터가 가치를 가지려면 해결하려는 문제와 관련된 데이터가, 정확한 데이터가, 의사결정에 즉각 활용할 수 있도록 적시에 존재해야 한다. 데이터 자체를 판매하기보다는 그 데이터에 대한 인공지능 분석으로 인사이트를 추출해 제공해주는 서비스도 새로운 기회가 될 수 있다. 데이터를 이용하는 기업도 있지만 데이터 낭비 기업은 어느 산업에서나 쉽게 찾아볼 수 있는 유형으로 데이터 수집 자체를 하지 않거나 수집해도 거의 활용하지 않는다. 디지털 전환이 성공하려면 모든 직원의 태도, 업무 프로세스, 행동 기술이 변해야 하는데 이런 변화는 우연히 일어나지 않는다. 분석적 기업문화를 조성한다는 것은 기업 내 전 구성원이 데이터에 근거한 의사결정을 일상화한다는 의미이다.

과거부터 우리는 ‘정보의 홍수’ 시대 속에 살고 있다는 이야기를 많이 접했다. 코로나19 직전까지도 빅데이터 시대는 우리에게 성큼성큼 다가와 우리의 삶을 아주 조금씩 변화시키고 있다는 느낌을 받았다. 그런데 코로나19로 강제적으로 집에서 생활하는 시간이 늘어남에 따라 생활의 많은 것들이 아주 빠른 속도로 오프라인보다는 온라인에서 모든 것을 해결하는 방식으로 바뀌게 됐다. ‘정보의 홍수’라는 말이 추상적으로 느껴졌다면 이제는 정말 정보나 데이터들이 급속도로 팽창돼 그것들 속에서 허우적대는 시대에 살게 된 것이다.

어쩔 수 없는 변화의 방향이란 생각이 든다. 과학기술이 발전하면 우리 삶은 확실히 편해진다. 삶이 편해지는 쪽으로 모든 것들이 변화하는 것은 속도의 문제는 있을지언정 피할 수 없는 대세적 방향이란 생각이 든다. 문제는 그 변화의 속도를 따라잡을 수 있을까 하는 것이다. 변화의 속도에 올라타 그 변화에 잘 적응할 필요가 있다. 데이터의 홍수 속에 그 데이터들이 지나가는 것을 바라만 볼 것인지, 아니면 그 데이터들의 맥락을 보고 분석 역량을 키워 통찰력 있는 문제 해결법들을 찾을 수 있을 것인지 고민해야 하는 때가 왔다.

이미 많은 사람들은 데이터 분석 역량을 키우며 변화에 적응하고 현실 속에 적용하고 있었다. 사실 이 책을 읽기 전까지는 데이터 분석 역량이라는 것이 소수만 가진 특별한 것이어서 일반 사람들이 접근하기에는 진입장벽이 있는 높은 벽이란 생각이 들었었다. 하지만 이 책을 읽은 이후에는 생각이 좀 바뀌었다. 이제는 주저하며 높은 벽이라고만 생각할 때가 아니라는 생각이 들었다. 적극적으로 데이터 분석 역량을 키우며 현실 속 문제들에 적용해보는 연습이 필요하다는 느낌이 들었다. 그만큼 사회는 빠른 속도로 변화하고 있다는 생각이 든다.

어떻게 보면 데이터를 분석할 수 있는 능력을 가진다면 예전보다 더 편리하게 삶을 영위할 수 있다는 생각이 들었다. 과거에는 소수에게만 공개돼 있던 정보들이 이제는 많은 사람들이 알 수 있는 정보들로 바뀌었고 그 정보나 데이터들을 잘 분석만 하면 새로운 기회들을 많이 발견할 수 있는 시대가 됐기 때문이다. 그런 면에서 많은 자극이 됐고 유익한 시간이었다.

*이 책은 출판사를 통해 지원 받았습니다.

서평단 도서를 제공받아 읽고, 솔직하게 작성하였습니다

막연한 '빅데이터'라는 개념에 대해 차근차근 풀어주는 책을 만났다. 좀 더 빅데이터에 대해 이해할 수 있었다. 이 분야의 가능성이야 이미 대부분의 사람들이 느끼고 있었을 텐데, 이를 이용한 사회를 위해 어떤 마음가짐을 가져야 할지에 대해서도 고민할 수 있는 좋은 시간이었다.

목차와 함께 책의 내용과 읽으면서 든 생각에 대해 간단히 언급해보고자 한다.

1장. 빅데이터 시대 이해하기

스마트폰, 웨어러블 기기들, 사물 인터넷 등으로 과거와 비교할 수 없을 정도의 많은 데이터들이 생기고 있다. 이를 효과적으로 처리하기 위해 빅데이터가 출현했다.

＜빅데이터의 특징＞

- 규모 : 수 많은 소스에서 생성되는 데이터의 양

- 다양성 : 데이터의 형태가 다양함 (정형/반정형/비정형 데이터)

- 속도 : 빅데이터가 생성되는 속도

- 정확성 : 빅데이터를 신뢰할 수 있는 정도

- 가치 : 수집된 데이터의 비지니스적 가치

- 빅데이터 사용설명서, 26쪽

이렇게 모은 빅데이터를 분석하여 비지니스에 진정으로 활용할 수 있는 것을 지향한다.

2장. 인공지능의 과거, 현재 그리고 미래

알파고를 기억하는가. 그동안 많은 경우의 수를 계산하기 어려워 컴퓨터가 프로를 상대로 바둑 경기에서 이길 수 없을 것이라는 예상을 깨고 알파고가 승리했다. 알파고는 '딥러닝' 방식이라는 혁신적인 방법으로 기존의 한계를 모두 깨부셨다.

알파고의 등장은 많은 사람들을 두려움에 밀어 넣었다. 정말 인간보다 뛰어난 인공지능이 곧 등장하는 것인가. 반면 어떤 전문가들은 인공지능의 발달은 단지 똑똑한 하인을 만들 뿐이라는 시각도 있다.

신기하게도 인간은 쉽게 해내는 것들을 인공지능으로 구현하는 것은 쉽지 않고, 인간이 어려워하는 복잡한 계산에서 답을 얻는 것은 무척 간단하다. 이런 것을 생각해보면, 서로 부족한 것을 보완해주며 좋은 시너지를 낼 수 있지 않을까 하는 생각도 해본다.

3장. 데이터 기반의 의사결정

가장 흥미로웠던 부분 중 하나가 나이팅게일의 사례였다. 단순히 전장에서 많은 사람들을 치료해주는 모습만이 나이팅게일의 업적이 아니었다. 나이팅게일은 대부분의 환자가 전쟁터보다 야전병원에서 다른 질병으로 인해 사망한다는 사실을 알게 되었고, 이를 수치화하고 도표화하여 공론화했다. 이를 통해 병원 시스템을 개선할 수 있게 되어 많은 사람들을 구할 수 있던 것이다.

이 외에도 구글의 인사정책이나 카지노 사업에서 빅데이터를 활용한 사례들을 보여주는데, 모두 매우 흥미로웠다.

4장. 빅데이터의 꽃, 예측

엄청나게 많은 데이터를 분석하여 예측분석하면 많은 성과를 얻을 수 있다. 센서들을 파악하여 고장 전에 미리 진단할 수 있다거나, 소비자가 원할 만한 상품을 타게팅하여 추천함으로써 수익을 극대화할 수도 있다.

5장. 새로운 기회를 열어주는 빅데이터

링크드인의 '당신이 알 수도 있는 사람' 소개, 청소장비 회사의 빅데이터 활용을 이용한 새로운 사업 분야 개척 사례, 그 외에도 다양한 회사들의 빅데이터 활용 사례를 보여줬다.

특히 5장의 마지막을 장식한 '네스트랩스'는 많은 점에서 공감이 갔다. 실제로 건축에 들어가는 전자장비들의 수준은 몇 십년동안 변하지 않은 것 같다. 몇 달 전에는 월패드 카메라가 해킹되는 등 보안 수준도 매우 낮다. 이런 점을 간파하여 소비자가 원할만한 기기들을 개발한 사례가 흥미로웠다.

6장. 창의성과 데이터 분석

흔히 창의성은 그냥 번쩍이는 아이디어라고 생각할 수 있지만, 창의성도 정확한 지식과 데이터를 기반으로 만들어질 수 있다. 이러한 예로 왕관의 부피를 측정한 아르키메데스, 우주의 비밀을 풀어낸 케플러, 유전학의 아버지 멘델 등의 사례를 제시했다.

7장. 디지털 전환의 어려움과 극복 방안

와닿는 부분이 정말 많았던 파트이다.

대부분의 기업이 데이터 수집 자체를 하지 않거나,

수집한다고 해도 그냥 저장하는 것 이외에

다른 활용은 하지 않는다.

- 빅데이터 사용설명서, 201쪽

특히나 빅데이터의 관점에 대한 회사 경영진과 IT 담당자, 현업 담당자들의 생각은 현실을 잘 반영하고 있다고 생각한다. 잘 모르는 경영진은 뭐라도 해야겠다는 마음으로 빅데이터니까 뭔가 IT스럽고, IT 담당자에게 일임한다. IT 담당자는 맡은 업무만으로도 벅차니 외부 업체로부터 솔루션을 얻고자 한다. 현업 부서에서는 해당 업무는 IT 쪽으로 배당되었기 때문에 알아서 잘 하겠거니 하고 신경쓰지 않는다.

그러나 앞의 많은 사례에서 보았듯이, 비지니스 적인 인사이트를 도출할 수 있는 데이터 분석을 위해서는 위의 방식이 완전히 비효율적이다. 데이터를 통해 인사이트를 얻을 수 있는 곳은 현업부서다. 경영자는 분석적인 조직 문화를 조성함으로써 많은 현업 담당자들이 데이터를 기반으로 생각하고 주장하는 능력을 키워줄 필요가 있다.

8장. 분석결과를 시각화할 때 빠지기 쉬운 함정들

아무리 잘 분석하더라도 의사결정자를 움직이기 위해서는 데이터와 친숙하지 않은 사람들도 한 눈에 결과를 인지할 수 있도록 시각화해야 한다. 이 때, 그래프를 왜곡하거나 오해를 불러 일으키는 경우가 있다.

데이터 분석가는 이러한 오해를 사지 않도록 그래프를 정확하게 그려야 할 것이고, 보고 받는 사람은 그래프가 현상 왜곡 없이 표현하고 있는지 정확히 따져봐야 한다. 이는 소비자들도 마찬가지다. 일부 상품들의 실험 결과 그래프는 작은 차이도 큰 효과를 본 것처럼 과장된 그래프를 보여줄 때도 있고, 신문이나 뉴스에서도 숫자 대비 맞지 않는 도표가 삽입되는 경우가 많다. 이러한 오류에 빠지지 않도록, 숫자와 그림이 일치하는지 따져보는 습관이 필요하다.

9장. 빅데이터 시대를 맞아 개인이 준비할 것

결국은 꾸준히 분석 연습을 해 보는 수 밖에 없다. 많은 사람들이 학업 과정에서 수학을 포기하고 숫자를 멀리하지만, 새로운 시대에는 숫자를 이해하지 못하는 것은 글을 읽지 못하는 것과 같다.

호기심을 확장하고, 제대로 된 확률 계산을 하려 노력해보자. 데이터 분석 능력을 기르기 위해 데이터를 기반으로 사고하고, 글의 주장이 인과관계가 있는 주장인지 따져본다. 

분석을 생활화하여 빅데이터 전문가로 거듭나보자.

빅데이터나 알고리즘이라는 단어를 접한지는 꽤 되었고 여러 서적들에서 관련된 설명들을 읽었지만 이해가 잘 되질 않았다. 보이지 않는 곳에서 세상에 많은 영향을 미치는 빅데이터 알고리즘이 어떻게 사용이 되고 있으며 활용할 수 있는지에 대한 호기심이 일었다.

알고리즘도 인간이 만든 것이지만 인간이 할 수 없는 범위의 일을 순식간에 해내기도 한다. 1장에서는 빅데이터 시대를 이해하고 정확히 무엇을 빅데이터라고 하며 그 특징은 무엇인가에 대해서 살펴본다. 빅데이터는 규모와 다양성, 속도, 정확성, 가치라는 5가지 특징이 있어야 빅데이터라고 할 수 있다.

일반적으로 데이터라고 하면 바로 통계분석이 가능한 형태로 정리된, 우리가 일반적으로 정리해서 기존 시스템에 저장된 데이터, 회사의 사무실 컴퓨터의 데이터라고 생각하면 될만한 정형데이터와 html,웹록, 센서 데이터등의 구조나 일관성이 없는 데이터인 반정형 데이터, 형태가 정해지지 않은 텍스트나 음성, 이미지 동영상과 같이 데이터로 분석하려면 정형 데이터로 변환해야 하는 비정형 데이터로 나뉜다고 한다.

빅데이터는 기존에 기업이나 조직에서 정보를 체계화해 보관하던 데이터베이스의 범위 보다 훨씬 큰 데이터를 이야기 하기 때문에 기존의 방법으로는 수집, 저장, 검색, 분석등이 어려운 데이터가 빅데이터이다. 도저히 인간이 관리할 수 없고, 컴퓨터가 수학에서 유례된 알고리즘 시스템으로수집 저장 검색 분석을 한다고 보면 될 것이다.

빅데이터의 예측이나 새로운 기회, 데이터 분석과 창의성에 대해서 이야기 하는 4,5,6 장의 이야기도 흥미로웠다. 예측은 은근히 잘 들어맞기도 하는데, 사람 전문가보다 나은것 같다. 그렇다고 그런 예측을 많이 신뢰할 수는 없다. 미래는 사람도 컴퓨터도 모르는 법이니까.

이런 빅데이터를 활용하지 않는 기업은 빅데이터를 활용하는 기업에 뒤쳐질 수 있기 때문에 경쟁우위를 높이기 위해서라도 빅데이터를 활용해야 한다고 저자는 말한다. 새로운 시대에 적응 하지 못하면 도태된다는 진화의 법칙일 것이다. 진화는 아주 천천히 진행되어왔으나 요즘 시대에는 그 변화 속도가 너무 빨라 정신을 차리기 힘들다. 그렇기 때문에 기본적인 개념 정도는 알고 있어야 한다는 생각이 든다. 기본조차 모르면 순식간에 저 멀리 뒤쳐지고 말 것이다.

SNS나 인터넷 공개 글, 개인의 쇼핑 기록이나 조회 기록등이 데이터의 소스라고 할 수 있는데 기업은 이를 이용해서 소비자의 수요에 걸맞는 상품 정보를 제공하게 되는 것이다. 게임에 전혀 관심이 없는 사람에게 게임 광고를 한다거나, 책에 관심없는 사람에게 신작 소설을 홍보한다면 하나 마나 이므로 관심사에 맞는 범주의 상품을 소개를 해야 효과가 있을 것이다.

넷플릭스도 시청자가 주로 시청하는 장르의 작품을 자동으로 추천하곤 하는데, 개인적으로는 이게 별로 잘 들어맞지는 않았다. 워낙 다양한 장르를 시청하면서도 배우나 작품성 등 기호가 맞지 않으면 잘 보지 않기 때문이다. 한국 드라마를 잘 보지 않지만 좋아하는 배우나 잘만든 작품을 가끔 보는데 계속 별 관심도 없는 한국 드라마를 추천해주는 식이기 때문이다. 보통 직접 검색해서 볼 컨텐츠를 선정하지 알고리즘이 추천해줘서 보는 경우는 드물었다.

점도 지적하고는 있긴 하지만 빅데이터를 우호적으로 보는 시각의 책이다.

개인이 자유 선택할 수 있는 범위의 것들은 존중되어야 하는데, 날이 갈수록 그렇지 못한 것 같은 생각이 든다. 물론 공공의 질서를 위해서 지켜야 할 것들은 지켜져야 하지만, 사회생활을 하다보면 그것을 구분하기 애매한 부분을 포함해서 그럴 필요가 없는 부분 까지 강요를 받는 듯한 느낌이 자주 있다. 분별력이 필요한 부분인데 인간이기 때문에 자주 그런 선을 넘어선다. 개인의 영역을 구분 못하는 사람이나 집단이 힘을 가지면 어떻게 되는지 우리는 역사를 통해서 수없이 봐왔다. 같은 실수를 반복하는게 인간이지만 조금씩 나아지는 것도 인간이다. 빅데이터는 이런 다수나 집단의 논리에 더 힘을 실어주는게 아닌가 하는 우려도 든다. 필요한 부분은 잘 활용하되 무조건 적인 신뢰는 피해야 한다고 생각된다.

미래사회로 가면서 빅데이터에 대해서는 빼놓을 수 없는 것 같아요.

보안을 위해서, 미래 발전을 위해서 등등

다양한 정보들이 다양한 형태로 수집되고 있고 또 그 데이터들이 모여 빅데이터를 만들고 있어요.

빅데이터에 대한 관심은 미래에 대해 공부하며 생겼었는데요.

빅데이터 분석기사에도 관심을 갖고 한 번 도전해 보기도 했었거든요.

아쉽게 합격하진 못했지만 빅데이터에 대해 훑어보는 시간이었어요.

하지만 시험공부로 접했던 빅데이터는 답답하고 어렵게 느껴졌던 것이 사실인데요.

이제는 좀 더 편안하게 빅데이터에 대해 이해해봐야겠다 생각했어요.

데이터가 경쟁력이 된다는 미래사회.

그 미래 구성원으로 살아가기 위해 빅데이터에 대한 이해는 필요하다고 생각해요.

하지만 막대한 데이터에 대해 무엇을 이해하면 좋을지는 여전히 막막하게 느껴지는것 같아요.

빅데이터의 분석과 예측법에 대해서도 담겨져 있다고 하니 기대하며 읽기 시작했어요.

빅데이터의 5V

전에는 막연히 빅데이터의 특징은 5V다 라고 외웠었어요.

책을 읽으며 이름 그대로 빅(BIG)데이터다보니 규모는 크고,

방대한 양으로 다양할 뿐만 아니라 그 양을 처리 하기 위한 속도도 필요하다는 것 등등

차근차근 읽어보다보니 왜 5V라고 하게 되었는지 충분히 이해가 되었어요.

전에는 암기하려고만 했기에 헷갈리는 부분이 있었는데요.

큰 그림을 그리며 하나씩 이해하다보니 조금은 알 것 같은 빅데이터

저자는 예측은 빅데이터의 꽃 이라고 표현하였는데요.

그만큼 예측은 빅데이터를 활용하는 단계 중 중요하고 핵심이기 때문인 것 같아요.

우리가 살아가는 삶은 5분 후의 미래도 예측하기 어려워요.

그렇기 때문에 "예측"이라는 분야는 늘 꿈꾸고 궁금해 하는 영역인 것 같아요.

빅데이터에서의 예측은 기존의 방대한 양의 자료를 토대로 분석, 도출되는데요.

이 과정에서 우리는 인공지능의 필요성에 대해서도 짚고 넘어가야 한다고 해요.

방대한 양의 데이터를 분석하고 또 이를 통한 경쟁우위를 선점하기 위해선

인공지능의 발달이 뒷받침되어야 한다니.

미래의 기술발달은 특히나 과거의 산업 영영들과 비교해서

서로 유기적으로 연결되어 있고, 또 이를 통해 새로이 개발된다는 것을

다시 한 번 알게 배울 수 있었던 것 같아요.

사실 저는 빅데이터의 방대한 양과 인공지능의 발달에 대해 일부 부정적인 시각을 갖고 있었는데요.

선의의 의도로만 사용될 것이라는 보장이 되지 않기 때문이에요.

하지만 이 영역들의 개발이 불가피한다면 유용하게 쓰일 수 있도록 

잘 활용하는 방법에 대해 공부하고 익히도록 노력해야 한다고 생각되었어요.

특히나 미지의 영역인 미래에 대한 예측이 빅데이터를 통한다면

실패를 줄이는데 긍정적 영향을 미칠 수 있으니까요.

비단 빅데이터가 아니더라도 분석결과를 잘 전달하는 것은 중요하다고 생각해요.

그렇기에 왜 자칫 빠질 수 있는 함정 부분에 "분석결과 전달"에 대해 다루는지 궁금했었어요.

특히나 그래프를 통한 결과 전달의 한계점에 대해 설명하고 있다는 점이 흥미로웠는데요.

지금까지 저는 그래프, 수치를 통해서는 정확도를 높이는 전달법이라고 생각해왔었는데요. 

방대한 데이터를 단순화하는데서 오는 오류를 범할 수 있다는 것을 알게 되었어요.

좀 더 복잡하고 정교한 자료도출이 필요하고 이를 통해 왜곡을 줄이는 것,

그렇기 때문에 빅데이터 분석에 있어 중요하게 다루어야 하는 단계인것 같아요.

방대한 양으로 부터 추출하기 때문에 좀 더 구체적인 결과도출이 될 것이라 예상했었는데요.

오히려 단순화로 인한 왜곡이 발생할 수 있다는 것에 대해 배울 수 있었어요.

빅데이터의 분석역량도 꾸준한 연습을 통해 강화될 수 있다고 이야기 하는데요.

그 중 하나인 숫자를 두려워 하지 않아야 한다는 점이 인상적이었어요.

물론 수학을 좋아했고 숫자를 두려워하는 편은 아니지만,

방대한 양이 수치화 되면 사실 겁먹을 것 같다고 종종 했던것 같아요.

더 자세히 살펴보아야 하고 오차범위를 줄여야 한다고 생각하거든요.

하지만 분석적 사고를 위해선 초등학교 6학년 정도의 수학적 지식으로 가능하다고 하니

한결 마음 편하게 도전할 수 있을 것 같아요.

이렇게 책을 읽고 빅데이터를 다시 공부하기 시작하며 

빅데이터 분석기사와 데이터 사이언티스트에대해서도 더 관심을 갖게 되었는데요.

전반적인 흐름, 특징과 더불어 예측과 분석까지 담겨져 있었기 때문인 것 같아요.

빅데이터를 두려워해야 할 미래 기술 중 하나가 아니라 

함께 배우고 다룰 줄 안다면 경쟁우위를 확보할 수 있는 계기가 될 것 같아요.

** 출판사로부터 도서만을 제공받아 작성된 글입니다 **