|
<돈이 보이는 빅데이터>(이종석 지음 / 김영사 / 2018). |
|
4차 산업혁명의 시대를 살아가면서 자주
듣게 되는 말 중 하나가 빅데이터다. 개인보다는 나라와 기업 등에서 빅데이터를 활용해 원하는 결과를 창출하고 수익을 냈다는 뉴스를 접하며 일반
대중들은 빅데이터에 대해 막연하게 이미지를 가지게 된다. 그런 면에서 빅데이터에 대해 좀 더 심도깊게 알 수 있는 이 책 [돈이 보이는
빅데이터]는 반갑다. 빅데이터는 '빠른 속도로 입출력이 가능한 다양한 범위와 유형을 가진 큰 데이터'라고 공식적으로 알려져
있다.
빅데이터에 대해 제대로된 의미를 알고
빅데이터 분석을 통해 가치를 창출하는 법, 빅데이터와 더불어 돈을 벌어주는 인공지능과 머신러닝에 대해 알아보고 실제로 빅데이터를 이용해 돈을
버는 기업의 사례를 보여준다.
이처럼 아마존고가 많아진다면 마트에서 바코드를 찍는 직원들은 모두 일자리를 잃을 수 있다. 상품을 진열하거나 고객을 안내하는 직원의 수도 줄어들 것이다. 그렇게 된다면 기존의 유통 비즈니스는 새로운 국면에 직면할 것이고 비즈니스의 경쟁구도를 획기적으로 바꾸게 될 것이다. 우리나라에서도 빅데이터는 의료, 금융, 통신, 유통에서 개인정보를 포함해 사용되고 있다. 책을 읽으면서 빅데이터가 무엇인지, 얼마나 다양하고 폭넓은 분야에서 사용되는지, 빅데이터로 가치를 창출하고 빅데이터 생태계가 어떻게 만들어지는지 자세히 들여다볼 수 있었다. 이제 기업들은 동종 업계에 있는 경쟁사들이 아니라 빅데이터를 기반으로 인간을 대신할 다양한 인공지능 기술을 확보한 기업들과 경쟁을 해야할 것이다. 더 치열해지고 더 분석적이어야만 하는 앞으로의 빅데이터 생태계가 궁금하고 기대된다. |
|
굉장히 핫한 이슈에서 버즈워드나 일시적인 유행어 취급을 받는 단어. 빅데이터, 4차 산업혁명. 이 단어들이 그에 해당하는 말이 아닐까. 2012년 국내에 소개된 이후 최근 2-3년 동안 사회에서 가장 많이 소비되었던 개념이지만, 아이러니하게도 그 의미를 물어보면 누구 한 사람도 잘 대답하기 힘든 개념이다. 눈과 귀에는 익숙하지만, 정확하게 무엇을 의미하는지 알 수 없는 단어다. <돈이 보이는 빅데이터>를 읽기 전까지는 말이다.
<돈이 보이는 빅데이터>는 제대로 활용해보기도 전에 지루한 것 같은 느낌이 드는 '빅데이터'라는 개념이 왜 "기회"의 영역이며, 그 기회를 통해 가치와 수익을 생산해낼 수 있는지 설명하는 책이다. 먼저 1, 2, 3장에서 빅데이터의 개념, 그리고 빅데이터가 가치를 생산해내는 메커니즘, AI와 딥러닝과 빅데이터의 상관관계와 같이 빅데이터에 대한 포괄적인 개념을 설명한다. 그리고 4, 5장에서 빅데이터로 실제 돈을 벌었던 해외 기업 사례를 분석하고, 마지막 장에서 국내에 어떻게 도입할 수 있는지와 고려해야 할 사안이 무엇인지 설명한다. 빅데이터에 대해 잘 알지 못하는 사람들도 빅데이터 개념을 이해할 수 있도록 저자는 차근차근 개념을 정리한 후, 그다음에 어떻게 활용할 수 있는지 방법까지 <돈이 보이는 빅데이터>에 담아내고 있다.
"빅데이터 시장은 아직도 초기 단계에 불과해서
대부분의 기업들이 빅데이터를 어떻게 활용할지 갈피도 못 잡고 있다."
빅데이터라는 단어가 보편화된 것에 비해 빅데이터라는 개념이 보편화되지 못한 이유는 "빅데이터가 무엇인지 그리고 이를 어떻게 활용해야 하는지" 제대로 이해하지 못했기 때문이다. 미래 산업에 중추 역할을 할 것이라고 모두가 예상하고 있지만, 왜 미래 산업의 핵심인지, 가치를 생산해내는 방식이 무엇인지 기업들조차 잘 모른다는 것이 저자의 생각이다. 실제로 국내 기업들도 빅데이터에 비용과 시간을 투자하고 싶지만 어느 영역에 어떻게 투자해야 하는지 모르고 있는 실정이라고 말한다. 기업이 이런 실정인데, 개인들의 사정은 더욱더 뻔하다. 하지만 우리나라 실정이 이러할 뿐 현재 미국에서는 빅데이터 기술이 실생활에서 활용되고 있는 실정이다. 또 "향후 5년 안에 구글, 페이스북 등과 같은 제4차 산업혁명의 선두 기업들이 자신들이 개발한 머신 러닝, 인공지능 알고리즘을 점점 더 많이 무료로 공개할 것이다. 앞으로 몇 년 안에 중소 규모의 일반 기업이 대기업이 미처 발견하지 못한 비즈니스 영역에서 인공지능과 빅데이터를 결합한 새로운 먹거리를 만들어내는 것에도 매우 긍정적으로 기대하고 있다."라는 전망을 내놓고 있다. 지금은 모르고 있어도 괜찮을지 몰라도, 앞으로 사업을 하고자 한다면 빅데이터는 비즈니스에서 무척 중요한 역할을 할 것으로 보인다.
"빠른 속도로 입출력이 가능한 다양한 범위와 유형을 가진 큰 데이터"인 빅데이터는 방대한 규모를 자랑하고 있으며 그 데이터양만큼이나 다양한 분석 기법을 통해 활용을 할 수 있다. 저자는 아직까지 추출과 정제에 많은 비용이 드는 셰일 가스에 비유했다. 빅데이터는 현재의 기술로 필요한 정보를 추출하고, 이를 가공하기까지 쉽지 않다. 빠른 속도로 빅데이터를 다루는 하드웨어와 소프트웨어의 발전됨에 따라 점점 활용하는 데 드는 비용이 줄어들고 있는 추세다. 빅데이터를 분석하는 알고리즘 3가지 과정과 이를 분석하는 4가지 목적에 대하여 설명한다. 2, 3장의 내용은 빅데이터의 개념을 조금 심화하여 구체적이로 빅데이터가 운영되는 메커니즘이 어떻게 이루어지는지를 소개하고 있는데, 아직 개념이 확실하게 잡히지 않는 나로서는 조금 힘에 부치는 장이었다. 흥미로운 점은 빅데이터의 분석이 미래까지 예측하여 결과를 말해주지 않는다는 것이었다. "분석 결과는 과거 데이터의 요약이기 때문에 과거 상태를 이해하는 것에는 도움이 되지만, 미래가 어떻게 변화할 것인가에 대한 정확한 예측까지는 제공할 수 없다. 통계분석 결과를 기반으로 미래를 예측하는 것은 여전히 업무 담당자인 인간의 몫"이라는 점은, 빅데이터가 우리 사회에서 보편적으로 활용된다고 해도 인간의 통찰이 필요하다는 점을 시사하고 있다. 동시에 이 통찰이 비즈니스 영역에서 제대로 된 역량을 발휘하기 위해서는 빅데이터의 운영 체계를 이해하는 것이 필요하다는 걸 말한다.
'빅데이터 마케팅'이란, 빅데이터를 통해 마케팅에서 가장 이상적인 고객별 타기팅이 가능한 마케팅을 일컫는 새로운 용어다. 빅데이터가 몰고 올 마케팅의 미래라고 할 수 있다.
이미 빅데이터를 활용한 기업들은 많다. 아마존, 구글, 페이스북, 이베이 등 다양한 기업에서 빅데이터를 이용해 고객들이 필요로 하는 제품을 홍보하고 있다. 또 동시에 빅데이터 개념을 선점하기 위한 보이지 않는 마케팅 전략을 펼치고 있다. 예를 들어 알파고를 앞세워 구글은 '빅데이터'를 활용할 수 있으며, 이를 통해 세상을 놀라게 하는 기업이라는 이미지를 확보했으며, 아마존은 온라인 쇼핑몰임에도 불구하고 오프라인 매장을 열어보는 시도를 하는 등. 기업들은 빅데이터를 어떻게 이윤 창출에 활용할 수 있는지를 모색하고 있다. GM이 비행기 엔진 정비하는 기술에 빅데이터를 활용하고 있다는 내용은 이미 KBS 명견만리 다큐멘터리에서 한차례 확인했던 내용이었지만 빅데이터 기술이 어디까지 활용될 수 있는지 그 가능성을 알리는데 부족하지 않았다. 안타까운 점은 빅데이터와 빅데이터 마케팅을 활용한 사례에서 국내 기업에 대한 내용이 별로 없었다는 점이다.
<돈이 보이는 빅데이터>에 국내 기업에 대한 이야기는 찾아보기 힘들다. 이것이 저자가 이 책을 세상에 내놓은 이유 중 하나가 아닐까. 현재 이 책에서는 국내 기업의 사례 앞으로 우리나라 기업과 스타트업 회사들의 사례가 나오길 바라는 마음이 있었을 것이다. 아직 우리나라에 빅데이터 전문가와 이를 비즈니스의 새로운 영역으로 활용하는 사람들은 별로 없다. 하지만 5년 안에 전 세계 비즈니스를 지배할 기술임이 자명한 빅데이터에 대해 계속 무지하다면 어떻게 될까. 상상하지 말자. 그럴 일이 없도록 많은 사람들이 빅데이터에 대해 알게 될 것이니까. |
|
이번 여름 계절학기에 전공수업인 경영정보시스템(MIS) 과목을 수강하면서 기억에 남는 교수님의 언급이 한 가지 있다. 현재 우리나라에 제대로 된 빅데이터는 없다고 봐도 무방하며 단순한 데이터마이닝과 빅데이터는 구분해야 한다는 것이었다. MIS 과목이 빅데이터만을 다루는 수업도 아니었고 특강 자료로 짤막하게 언급된 부분이었기에 약간의 호기심만을 지닌 채 별도의 조사 등은 하지 않았다. 그리고 이 책을 접하면서 호기심이 다시 생겨나기 시작했다. 빅데이터가 산업 현장이나 언론에 등장하기 시작한 지도 꽤 많은 시간이 흘렀다. 정부나 기업들이 이를 활용해 새로운 발전동력으로 삼을 것이라는 기사를 많이 접하지만, 그 실체에 대해서는 의문이 든다. 구글, 페이스북, 아마존 등의 기업들이 자체 SNS나 오프라인 매장(아마존 고)을 통해 대량의 데이터를 축적하고 이를 빅데이터화해 실제 수익으로 연결하는 모델을 만들어내는 것과 대조된다. 이 책은 이러한 한계를 지적하고 기술적으로, 그리고 비즈니스적으로 빅데이터를 분석한다. 빅데이터가 그 유명세에 비해 활용이 어려운 이유로 저자는 ‘차원의 저주’를 꼽는다. 차원의 저주는 분석변수의 수가 증가하면, 그에 비례해서 케이스 수가 급격하게 증가하는 현상으로 컴퓨터의 처리 용량을 넘어설 정도로 데이터의 양이 많아지면 분석 속도의 감소로 인해 분석 자체가 불가능해지는 것을 뜻한다. 이를 극복해야 빅데이터를 실제 현장에서 사용할 수 있다는 것이 저자의 주장이다. 또한, 빅데이터와는 뗄래야 뗄 수 없는 관계인 ‘인공지능’, ‘머신러닝’ 등의 내용도 많이 담겨 있다. 아마존 고나 알파고 같은 유명한 사례는 물론 저자가 참여했던 미 해군 핵잠수함과 GE의 사전 고장 예측 프로세스는 매우 흥미롭다. 기계공학과 출신이며 알고리즘 개발자임과 동시에 비즈니스 컨설턴트인 저자는 본인의 경험과 지식을 활용하여 책을 구성했다. 그만큼 유용한 기술 정보와 최신의 사례들이 담겨 빅데이터에 대한 왜곡된 지식과 무지를 어느 정도 극복할 수 있는 데 도움이 되었다. 하지만 짧은 지식으로 이 책을 전부 이해하는 것은 무리였지 싶다. 기술에 대한 지식이 있으며 또한, 현장에서 사업을 다루는 사람에게 더 큰 시너지 효과를 낼 수 있는 책으로 보인다. 흥미와 더불어 부족함을 느낄 수 있었다. |
|
2016년 봄, 구글 딥마인드에서 제작한 바둑 인공지능 알파고와 이세돌 9단의 바둑 대결은 전 세계를 떠들썩하게 만들었다. 컴퓨터와 인간의 대결이라니. SF 영화 속에서나 볼 법한 장면이 연출될 것만 같았다. 체스와는 비교할 수 없을 정도로 무수한 경우의 수를 가진 바둑의 경우, 아무리 뛰어난 인공지능이라고 할지라도 인간의 지능을 뛰어넘을 수 없을 것이라고 생각했다. 하지만 알파고는 의외의 결과를 보여주어 세상을 놀라게 했다. |
|
빅데이터 개념부터 활용하는 방법이 담긴 친절한 안내서 빅데이터라는 개념은 어려웠지만 이제는 많은 사람들에게 인식할 수 있을 정도로 대중화되고 상용화되어 가고 있다. 멀리서 찾지 않아도 빅데이터 기술이 쓰이고 있는 분야를 쉽게 알 수 있다. 인터넷을 검색할 때 이전에 찾아봤던 물품과 관련된 광고가 나오고 있고 영상을 볼 때도 내가 좋아하는 영상에 맞춰 제안하고 있다. 그런데 이런 빅데이터는 어떤 원리로 작동하고 어떻게 더 활용될 수 있을까? ≪돈이 보이는 빅데이터≫에서 자세한 답을 알 수 있다. p.6 사람들은 비즈니스에서 인공지능-머신러닝-빅데이터가 성공할수록 인간이 직업을 잃게 될 거라고 생각한다. (중략) 하지만 산업 현장에 로봇이 등장했던 과거에도 지금처럼 일자리에 대한 우려가 있었다. 하지만 스마트폰 등 모바일 기술과 SNS 서비스를 구현하는 기술이 발전하자 IT 기술에 기반을 둔 아마존, 페이스북 같은 거대 기업들이 탄생했고 새로운 일자리가 만들어졌다. 빅데이터는 유망한 기술이지만 이미 많은 부분에서 사용하고 있는 기술이다. 우리나라는 2012년 본격적으로 용어와 개념이 확산되었고 3Vs(규모 volume, 다양성 Variety, 속도 Velocity)로 모호한 기준을 보다 명확히 할 수 있다. 빅데이터는 분석할 수 있는 요건들이 많아지면 경우의 수가 늘어나고 이에 분석 속도도 급감하게 된다. 이를 차원의 저주라고 하는데 분산, 병렬처리와 컴퓨터 하드웨어의 연산 속도가 발전에 따라 속도 문제도 점차 해결되어 가고 있다. 빅데이터는 많은 정보를 모아 보다 직관적으로 할 수 있는 시각화를 가능하게 하지만 엄청난 정보를 모은다는 점에서 일반인들이 쉽게 접근할 수 없다. 다행히 어려운 알고리즘의 경우 오픈소스를 통해 장벽은 낮아졌지만 이를 가용할 수 있는 자원이나 활용도를 가지려면 데이터가 지속적으로 증가할 수 밖에 없는 비즈니스를 운영하는 구글이나 페이스북 같은 기업들에게 국한된 이슈라는 제기도 있다.
p.139 두 알고리즘(다크포레스트, 알파고)은 모두 딥러닝을 사용했다. 딥러닝의 인공신경망 개수가 12개와 13개로 한 층 차이가 있지만 실력차가 엄청 날 정도는 아니다. 주의 깊게 봐야 하는 부분은 학습을 위해 사용된 데이터 양이다. (중략) 실제 비즈니스에 알파고를 적용하려면 시간이 더 필요하니 성공 여부도 모르는 거 아니냐고 반문할 수 있다. 아직 여유가 있다고 생각할 수 있다. 하지만 이미 해외에는 빅데이터를 실제 비즈니스에 적용해 돈을 버는 기업이 있다. 어떤 정보를 요약하는 것에서부터 연속성 분석, 인공신경망, 퍼지로직, 러프집합 등 분석 알고리즘도 기존의 단점을 해결해나가면서 발전해나가고 있다. 구글(알파고)과 페이스북(다크포레스트)은 같은 방식인 알고리즘을 사용했는데 다른 결과가 나온 것에 주목할 필요성이 있다. 어떤 분석법에 따라 어떻게 해석했는지에 따라 빅데이터의 성능도 크게 차이날 수가 있다. 빅데이터는 정보를 한 대 모아 효과적인 마케팅 툴로도 사용할 수 있지만 언어 해석 분야에서도 사용할 수 있다. 챗봇이나 음성 상담을 통해 한없이 자신의 차례를 기다리는 지금의 모습은 사라질 가능성이 있다. 하지만 한국어는 어렵다. 이미 영어를 기반으로 연구가 진행된데 반해 우리말은 상대적으로 연구 기간이 짧고 스피치 인식 알고리즘에서 노이즈나 음성 왜곡, 녹음 방식, 사투리나 전문 용어의 사용, 형태소 분석, 품사 부착, 구절·구문 단위 분석 등 복잡함을 가지고 있는데 향후 어떻게 이런 문제를 해결해 나갈지 주목할 점이다. p.247 아마존처럼 새로운 비즈니스를 창출하려는 기업이라면 오픈소스 기반의 빅데이터 플랫폼을 도입하여 업무 시스템과 실시간 연계 시 발생하는 문제들을 스스로 풀어보는 것을 추천하고 싶다. 빅데이터을 활용해 개인적으로 돈을 벌 수 있는 방법을 안내하는 것이 아닌 빅데이터의 정의와 특징, 적용하는 알고리즘, 이를 활용한 기업 등의 사례를 제시해주고 있다. 빅데이터에 대해 아주 모르고 있다면 조금은 어려울 수 있는 책, 빅데이터에 대해 잘 알고 있다면 전반적인 흐름을 짚어주는 책이 될 듯 하다. 책의 이름에서 말하는 ‘돈 버는 방법’은 개인이 아니라 기업 쪽에 조금 더 포커스가 맞춰져 있는 부분으로 잘 유념하고 흐름대로 읽어간다면 빅데이터의 현재와 미래를 알 수 있는 좋은 책이 되어줄 것이다. |
|
"앞으로 5년 안에 평범한 기업들도 빅데이터의 의미를 제대로 이해하고 잠재가치를 실현할 시기가 올 것이다. 그리고 20년 정도 지나면 기후변화나 식량 확보, 난치병 극복 등 다양한 인류 문제를 해결하는 데 빅데이터가 크게 기여할 것이다." 빅데이터, 인공지능, 딥러닝, Iot 등 4차 산업혁명으로 새로운 미래 성장 동력이 될 미래 먹거리 중 빅데이터에 관한 수익을 이야기하는 책 《돈이 보이는 빅데이터》. 빅데이터란 대기업만의 영역이란 생각을 뒤엎고 최근 구글, 페이스북, 아마존 등 제4차 산업혁명의 글로벌 선두 기업들이 자체적으로 활용하는 인공지능 알고리즘을 '오픈소스 소프트웨어'로 공개하기 시작하면서 스타트업, 중소기업, 개인에게도 활로가 열렸습니다.
하지만 말 그대로 정보를 수집하기 위해서는 아직도 갈 길이 먼데요. 국내에서도 빅데이터 생태계에 대한 국가적 관심은 크지만 개인 정보보호 문제를 해결하지 않고서는 쉽지 않습니다.
점차 중요성은 커지지만 고도의 기술이 필요한 빅데이터를 '셰일오일'에 비교하는 설명은 이해하기 쉽습니다. 셰일오일은 기존 암반층에 고여 있는 원유와 달리 모래와 진흙이 퇴적하면서 굳어진 퇴적 암반층에 함유된 원유를 통칭합니다. 고대 페르시아 문헌에 언급될 정도로 오래전부터 존재했지만, 외면받은 이유는 불순물이 많아 추출과 정제 과정이 복잡해 경제성이 떨어지기 때문이었죠. 하지만 추출 기술 성공에 힙입어 국제유가 하락을 주도하기도 하고, 관심에서 벗어나기도 하다 현재는 천천히 유가가 오르고 있는 형태입니다. 빅데이터가 처음 국내에 소개될 때 흔히들 빅데이터를 '21세기 원유'에 비교했는데요. 빅데이터는 인공지능이나 다른 디지털 기술의 발전에 꼭 필요한 베이스기 때문에 선점하는 것이 중요한 것이죠. 결국 빅데이터는 유전을 찾는 일이 아닌 '셰일오일'처럼 머신 러닝이나 인공지능 등의 기술과 결합되고 수집하는데도 많은 비용이 들어 빠른 시일 내에 가능한 일이 아니라는 겁니다. 요즘 무료 강연이나 빅데이터 책들에서 소개하고 있는 것은 고도로 정제된 데이터입니다. 하지만 실제 현장에서는 머신 러닝 알고리즘을 활용해 노이즈를 일일이 제거해야 하는 수고로움이 반복되는데요. 마이크로소프트나 구글, 아마존 같은 기업이 아니라면 오픈소스 소프트웨어로 인한 시행착오 등을 겪으며 어디에서 오류가 발생했는지 빠르게 파악하는 역량이 갖추어져야 합니다.
저자는 20여 년간 세계 여러 기업에서 겪은 현장 경험과 연구를 통해 실패를 용인하지 않는 사회 분위기를 꼬집으며 쓴소리 실패를 빨리, 많이 할수록 최종적으로 실패할 확률이 줄어든다는 업계의 솔직한 조언도 담았습니다. 빅데이터만으로 돈을 벌 수 있는 기업은 없으며 머신 러닝, 인공지능을 빅데이터로 학습시켜 새로운 비즈니스를 만들어야 돈을 벌 수 있다는 지적. 책은 빅데이터의 개념부터 다른 기술과 결합해 빠른 실행화를 이야기를 합니다. 빙빙 돌려 이야기하지 않고 직언하는 저자의 스타일에 개념부터 제4차 산업혁명 시대에 적용될 활용 가이드로 손색없습니다.
|