브렉시트와 미 대선

두 사건의 공통점은 기존의 '확실한'예상들을 벗어났다는 점이다.

왜 이런 일이 발생했을까?

이는 이러한 예상들을 반영하는 방법이 잘못되었기 때문이다.

전체에서 1%도 안되는 표본에서 조사를 하니 예측결과가 잘 못 될 수 밖에 없었다.

그러나 이 두 사건들을 어느정도 예측에 성공한 놀라운 것이 있다.

바로 구글 빅데이터이다. 좀 더 정확하게는 검색량이다.

대표적으로 미 대선의 경우 힐러리 보다는 트럼프의 검색량이 더 많았다.

이는 즉 트럼프 후보자에 대한 관심이 더 컸다는 것을 의미한다.

이 검색량과  관심은 결국 당선으로 이어지게 되었다.

브렉시트의 경우에도 잔류보다는 탈퇴에 대한 검색어가 더 많았고 결국 탈퇴의 결과로 이어졌다.

이와 같이 빅데이터는 두 사건을 거의 정확하게 예측하였다. 즉 빅데이터를 잘 활용하면

여론조사보다 더 정확한 결과를 알 수 있다는 의미이다.

두 사건에서 힘을 발휘한 이 빅데이터를 제대로 분석한 한국교수가 있다.

이 교수는 위에서 언급한 빅데이터를 이용하여 두 사건을 예측하였다.

그 과정을 책으로 풀어내었으며 읽어보니 정말 빅데이터가 정말 유용하구나

라는 것과 새로운 지식을 알게 되었다.

제목 그대로다. 빅데이터를 통해 미래를 예측할 수 있다는 ＜빅데이터 분석대로 미래는 이루어진다＞라는 이 책은 미국의 대선 사례를 분석해서 빅데이터가 미래 예측에서 얼마나 정확한지를 보여준다. 지금 한국도 대선시즌어서 주요 후보의 여론조사 매주 나온다. 하지만 이런 여론조사는 응답률도 낮을뿐더러 선거 예측에서 정확도가 떨어진다는 것을 이미 지난 대선 때 보았다.

저자는 브렉시트, 2016 미국 대선 결과를 구글 트렌드 분석을 통해 빅데이터의 정확도를 보여준다. 특히 이번 미국 대선의 경우, 대부분의 기관들이 힐러리 클린턴이 대통령이 될 것이라 예측했지만 아무도 예측하지 못한 도널드 트럼프가 당선되었다. 이를 계기로 기존 여론조사에 대한 문제점이 지적되었다.

“기존 선거 여론조사의 두 번째 문제점은 낮은 응답률과 표본의 편향이다.”

이 책은 선거 결과에 대한 것만 다루지 않는다. 기업의 매출, 주가를 구글 트렌드 분석을 통해 어떻게 예측해볼 수 있는지도 보여준다. 물론 이런 빅데이터 분석 또한 문제가 있다. 특정 이슈가 있을 때는 잘못된 예측을 할 수 있어 이러한 부분은 분석에 있어 제거되어야 한다.

​

“저자는 이번 선거에서도 ‘검색량=득표율=선거인단 수’라는 공식이 깨졌다고 생각하지 않는다.

​다만, 특정 지역의 몰표로 인해 득표율의 착시 현상이 일어났을 수도 있다고 생각한다.”

“비교적 대기업의 매출액은 어느 정도 예측이 가능하고 주가가 매출에 영향을 주로 받기 때문에

이들 기업에 한해서 일반 주주들의 주식 매수, 매도의 시기를 결정할 때 도움이 되리라 생각한다.

이 책의 장점은 국내외 사례를 통해 빅데이터가 어떻게 우리의 삶에 적용될 수 있는지에 대한 구체적 분석이다. 어떻게 보면 논문 같은 느낌도 들지만 몇 가지 사례를 이렇게 깊이 들여다 볼 수 있는 책도 드물다는 점에서 빅데이터에 관심있는 사람이라면 볼만 한다. 또한 마지막 장에서는 빅데이터의 개념과 적용 사례를 설명해주어 빅데이터를 모르는 사람도 이해하기 쉽다.

4차 산업혁명 시대에는 수 많은 빅데이터가 나올 것이다. 이런 빅데이터의 분석은 우리의 삶에 또 다른 기회를 가져다 줄 것이다. 사물인터넷, 인공지능 등은 우리 주변에 얼마나 많은 데이터가 수집되고 활용되는지 알려준다.

읽기 쉽고 이해하기 쉬운 책이에요.. 물론 이해가 된다고 해서 지식화 수준까지는 아니지만 문장 그대로 읽고 이해하기는쉬워요. 저자의 의견을 듣바보면 약간 의견이 다른 겨웅도 있지만 새로운 경험, 지식을 얻을수 있다는 측면에ㅐ서는 많은 도움이 되는 책이에요.. 두구두고 한번?씩 ㅈ보면 많은 도움이 ㄷ횔것 같아요. 앞으로 데이터를 어떻게 활용할 것인가에 대해서 공부 좀 해야겠ㅇ더요... 

대선의 결과를 빅데이터의 분석으로 예측이 가능하다는 점에서 흥미를 느껴 읽어보았다. 

여론조사 리얼미터 등  여러 리서치 기관에서 하는 전화 응답 조사는

기껐 해봤자 몇천명 단위라

물론 기본적인 표본자료는 되겠지만 그 대상이 미미하고 지역성 특성을 많이 타기때문에 정확도가 떨어진다. 

2016 미국 대선땐 각종 매체에서는 여론조사를 바탕으로한 결과를 방송에 내보냈지만

결과는 구글 검색량의 빅데이터 분석을 통해 트럼프가 우세하다는걸 맞춰버렸다.

주가 예측 , 영화 흥행 예측 , 소비물품 사용예측등 우리생활의 모든 분야에서 예측이 가능하다는 점에서

빅데이터의 활용도는 가히 최고라 할 수 있다. 

워낙 방대한 데이터를 분석하다보니 일부 불량 데이터들도 그 속에 묻여서 희석이 되다보니 상대적으로 더욱 더 정확한 데이터를 뽑을 수 있다.

이책은 빅데이터를 다루는 최신버전의 사례들로 꾸며져 있어 좀더 현실감있게 접근할 수 있고

대선도 치뤘기 때문에 한번 더 검증된 빅데이터의 위력을 실감할 수 있을 것이다. 

하지만 이런 정보사회에서의 개인 정보유출은 양날의 검이라 좀더 세밀한 제도적인 법장치가 필요할 듯 보인다. 

미국 대선, 너무나 재미있게 보았는데 서로 앞서거니 뒷서거니 하는 모습이 최근의 한국 대선 판과도 비슷하게 움직이고 있다. 그런데 그거 아는가? 미국 어느 방송사에서도 맞추지 못한 대통령이 누가 되는 지를 이 분은 맞췄다. 단순히 운이라고 하기에는 머무나 과학적이고 근거있는 데이터이다. 그 데이터가 바로 빅데이터라고 하는 부분이고 그 데이터를 근거로 정말 많은 정보를 얻을 수 있다고 한다. 그런데 과연 우리는 그 데이터로 무엇을 활용하고 있을까?

사실 이런 빅데이터류가 무서운 것은 그것을 다른 것에 활용할 수 있을 때 발생된다. 위와 같이 단순히 힐러리와 트럼프로만 검색을 한다고 했을 때 그 데이터가 무엇을 의미하는 것인지 인지하게 되면 정말 많은 부분을 알 수 있게 된다. 사실 이 책의 저자 우종필 교수는 어쩌면 빅데이터를 가장 쉬운 방법으로 가공해서 보여주고 있는 것이 아닐까 생각된다. 결국 검색률에 따라서 그 사람의 인지도가 높은지 낮은지를 판단한다는 것인데, 그것만 가지고도 실제에 가까운 결과를 보였다는 것이 사뭇 놀랍기도 하다. 이제는 인터넷이라는 것이 젊은이들만의 소유가 아니라 여러 사람들이 사용할 수 있는 교육이 되었다는 반증이기도 하다.

이런 단순 선거 말고 심지어 회사의 회계까지 예상할 수 있는 것이 빅데이터이다. 검색되는 DATA의 양을 가지고 매출액의 상향을 확인할 수 있는데, 기존의 매출액을 가지고 당시 검색량을 대입한 다음 현재의 검색량과의 비례식을 계산해 보면 정말 근접한 DATA가 나온다는 것을 알 수 있는데, 한국에서는 구글이 아니라 네이버에서 검색하는 것을 가지고 활용할 수 있다면 정말 굉장한 DATA로 나올 수 있지 않을까 싶다. 사실 이 방법의 가장 큰 문제점은 회사에 스캔들 같은 것이 발생하면 진짜와 가짜를 구분하기 힘들게 되어 위와 같은 방법을 활용하기 어렵다는 점이다. 뭐든 단점이 있기 마련이지만 조금은 아쉬운 부분이 아닐까?

인터넷이라는 것이 삶을 바꿨다고 한다.

그런데 내가 보기에는 그 인터넷이 주는 여러 장점들이 많이 있겠지만 데이터를 분석할 수 있는 빅데이터들이 바로 삶을 눈부시게 변화시킬 수 있는 방법이다. 검색량을 가지고 많은 활용을 하게 된다면 어쩌면 미래 예측이라는 부분 중에 '군중심리' 라는 것을 쉽게 확인할 수 있다. 일례로 책에 소개된 '브라운아이드걸스' 의 컴백 시점에 신생 엔터테인먼트인 미스틱 엔터테인먼트가 빅데이터를 활용한 방법을 보자면 정말 굉장하다는 생각이 든다. 검색량을 통한 이미지 확인 및 향후 계획 정립이 말끔하게 되었기 때문이다.

빅데이터를 활용하려는 기업이 늘어나면서 발생되는 개인정보보호 침해 관련, 향후 어떤 식으로 법이 바뀔지 궁금해지고 있다. 너무 상업적으로만 사용하지 않는다면 개인적으로는 정보를 줘도 괜찮다는 생각을 하나 다른 사람 손애 들어가서 악용되는 경우도 있는 것 같아 아쉬운 점이 이만저만이 아니다. 어찌됐건 빅데이터를 활용한 다양한 방법이 앞으로 피어날 것이며 법도 그에 맞춰서 조금씩 변화가 일어나지 않을까라는 생각을 해 본다.

출처: http://k50321.tistory.com/616 [The EconoMic Person]

'장미대선'이 코앞이다. 계절의 여왕이라는 5월에 대선을 치루는 것은 처음인데 행복하기

보다는 씁쓸하기만 하다. 국민이 어렵게 낸 세금을 모아 치루는 선거들이 무용지물이 되고

심지어 투표한 것을 후회하게 만드는 상황들이 힘들기만 하다.

정치가 개판일수록 다시는 투표를 하지 않으리라 다짐하지만 국민의 의무라던가 권리라던가를

들춰가며 독려하는 통에 선택하기가 참으로 어렵기만 하다.

이렇게 어려운 선택으로 뽑은 사람들이 과연 제대로 된 선택이었을까.

가끔 이런 내 생각과 같은 생각을 하는 사람들이 많지 않을까 생각한다.

서로 속을 나눌수는 없지만 대중들의 생각을 살펴보면 내 선택에 도움이 되지 않을까 하는 생각중에

이 책을 만나게 되었다.

지금 세계는 개성강한 대통령 때문에 몹시도 어수선하다. 터키, 필리핀에 이어 최근에 당선된 미국의

도날드 트럼프까지.

물론 나는 플레이보이에 아무말이나 내뱉는 트럼프가 대통령이 되리라고는 전혀 생각지 못했었다.

아무리 개성이 강한 미국이로소니 설마 이런 인물을 뽑으랴 싶었다. 하지만 이런 내 예상과는 다르게

트럼프가 당선되고야 말았다. 물론 트럼프가 당선된데는 미국 특유의 선거제도 때문이기도 하다.

만약 우리나라처럼 직접투표방식이었다면 과연 그가 당선될 수 있었을까.

하지만 트럼프의 당선을 예상했던 사람중에는 빅데이터에 의한 분석에 의해 족집게처럼 짚어낸 경우가

있어 '빅데이터'가 과연 무엇인지 주목하게 된다.

구글데이터를 이용하여 미래를 예측하는 방식은 노스트라다무스나 점성술사의 예언과는 완전히 다르다.

저자인 우종필 교수에 따르면 많은 사람들이 뭔가를 선택해야 할 때 그와 관련된 검색을 하게 된다고 한다.

영국이 EU에서 탈퇴를 해야할지를 묻는 브렉시트의 경우 박빙이긴 했지만 여론조사를 했을 때 60~70%이상 잔류를 선택할 것이란 보도가 있었다. 하지만 결과는 EU탈퇴였다!!

저자가 브렉시트에 대한 예측을 제안 받았을 때 국내에서는 자료를 구할 수 없어 거의 불가능하다고 판단했다고 한다.

하지만 저자는 구글데이트를 이용하여 거의 정확하게 결과를 예측해냈다.

당시 영국의 여론조사방법에는 많은 문제가 있었다. 표본이 너무 적었기 때문에 정확치가 떨어진다고 판단한 저자는 구글데이트를 이용해 보기로 한다. 탈퇴를 의미하는 '브렉시트'와 단순히 'EU 국민투표'의 의미인 단어로 검색하니 여론조사와는 상당한 차이가 나는 결과로 나타났다.

말하자면 빅데이터의 분석을 완벽하게 하려면 빛과 그림자를 같이 적용해야 한다는 것이다.

지금 우리나라의 유력 대통령후보로 떠오른 사람의 경우 당선유력후보이지만 '뽑고 싶지 않은 후보'에도 1위임을 감안한다면 빅데이터의 검색방법이 무척이나 중요하다는 생각이 든다.

'인터넷 이후 최고의 발명품은 빅데이터!'라는 저자의 말처럼 이제 노스트라다무스의 예언만을 앉아서 확인하는 시대는 구태의연하기만 하다. 직접 분석하고 예측한다면 누구나 노스트라다무스가 되지 않을까.

과연 '장미대선'의 승자는 누구일지 이 책에서 제시한 방법대로 분석해본다면 이미 결과는 나온 것이 아닐지 직접 분석기술자가 되어보면 어떨지 추천해본다.

빅데이터

어디서든 한번쯤 들어봤다.

요즘 여기저기서 자주 보이는 단어이긴한데...

정확한 의미는 잘 모르겠고. 어렴풋이 무엇인지는 알것 같다.

이 책의 저자는 얼마전 끝난 미국의 대선을 예측해서 유명해졌다고 했다.

모두다 힐러리가 대통령이 된다고 했는데.

트럼프의 당선이 유력하다고 말이다.

무슨 근거와 자신감에서 그런 이야기를 했을까?

대부분의 여론조사와 언론들은 힐러리에 집중을 하고 있는데 말이다.

그 답이 바로 구글의 빅데이터에 있다고 했다.

그렇다면 빅데이터가 무엇인지를 뭔지 알아야한다.

그런데 이책은

재미있게도 빅데이터에 관한 내용은 뒷 부분에 있다.

앞에서는 저자가 어떻게 트럼프의 당선을 예측했는지 자료를 보여준다.

구글의 검색자료를 토대로 말이다.

말로만 설명을 들으면 잘 이해가 안되는 부분도 많다.

그런데 이렇게 다양한 표들이 등장한다.

그래프를 가만히 들여다보면 정말 답이 보인다.

왜 그렇게 예측을 했는지가 명쾌하게 보인다.

저자는 가장 먼저 여론조사기관의 조사방식의 오류를 이야기한다.

요즘같이 모두들 핸드폰을 들고 다니는데 유선전화에 의존한 조사.

대면조사가 아닌 전화기 넘어로 들리는 말을 듣고 답을 하는 방식의 여론조사가 얼마나 오류투성이 인지 알려준다.

우리도 곧 대선이다.

여기저기서 여론조사 결과들이 쏟아지는데 마지막에 이야기하는 순위에만 집중을 했지, 여론조사 방식과 응답율에 대한 관심이 덜 했던것이 사실이다.

표본의 숫자와 응답율이 얼마나 중요한지 이번 기회를 통해서 배웠다.

진부한 여론조사보다는 사람들의 마음이 들어나는 키보드앞이 검색순위가 더 많은것을 알려주고 있었다.

중간중간에 삽입되어있는 뉴스기사가 눈길을 끈다.

아마도 이 책을 보기전에 이 기사를 봤다면 그렇구나! 하고 지나갔을텐데.

이제는 조금 달라보인다.

사람이 아는만큼 보인다는 무서운 사실을 다시한번 경험하게 되었다.

그리고 책의 마지막에 나오는 빅데이터가 도대체 무엇이고 그것을 활용하는 방법이 제시가 되어있다.

궁금하다면 책을 직접 읽어보길 바란다.

나도 어렴풋이만 알던 빅데이터란 것이 무엇이고. 이 녀석을 이용해서 우리가 살아가는 세상이 어떻게 달라질지 기대가 된다.

 저는 위 도서를 추천하면서 매경출판으로부터 도서를 지원받아 작성하였습니다. 

얼마 전 대학 다니는 조카가 방학을 통해서 빅데이터를 배운다고 해서 다시 한번 빅데이터를 알아야겠다고 생각했었다. 여러 매체들에서 요즘 핫이슈로 떠오른 빅데이터가 정확히 무엇을 말하는지 알고 싶었는데 매일경제신문사에서 나온 빅데이터 분석대로 미래는 이루어진다를 통해서 정확하게 알 수 있는 기회를 가질 수 있었다. 이 책은 국내에서 유일하게 트럼프의 미국 대통령 당선을 정확하게 예측한 세종대학교 경영학과 우종필 교수가 빅데이터에 관해 쉽고 자세하게 설명하고 있어서 좋았다.

이 책을 읽는 동안 무엇이든 정확히 알아야 한다는 생각을 다시 한번 하게 되었다. 어렴풋하게 알아서는 아무런 도움이 되지 않는다는 사실을 한번 더 확인하는 시가이었다.  이 책을 통해서 빅데이터가 어떤 분야에서 어떻게 사용되는지 또 빅데이터가 우리 생활에서 어떻게 활용되는지 등을 알 수 있었다.

이 책의 구성은 총 4장으로 이루어진다. 제1장에서는 구글 트랜드를 이용하여 2016년 미국 대선 결과와 2012년 대한민국 총선 결과에 대한 재분석을 보여주어 빅데이터의 활용 분야와 활용 방법을 설명해 주고 있다. 제2장은 더욱 흥미로운 내용을 담고 있는데 기업의 매출액을 분석해서 주가를 예측해보는 빅데이터의 또 다른 활용 방법을 보여준다. 제3장에서는 빅데이터를 마케팅적인 시각에서 접근해 보고 있고, 개인적으로 가장 좋았던 제4장에서는 빅데이터의 기본적인 내용들을 쉽게 잘 풀어서 설명해주고 있어서 너무나 커다란 도움이 되었다. 개인적인 생각으로는 제4장과 제1장의 배치 순서를 바꾸어서 빅데이터의 기본을 알고 책을 접한다면 더 좋을 것 같다는 생각해본다.

빅데이터가 무언지 빅데이터의 세계로 여행하고 싶은 이들에게 꼭 한번 들러보라고 권해주고 싶은 책이다. 분석하고 예측해서 우리의 불확실한 미래를 조금 더 확실하게 만들어주는 방법을 쉽게 알 수 있게 설명해주는 매력적인 책을 만나 보았다.

갑작스러운 대통령 선거를 앞에 두고 여론의 향방을 확인하기 위해 SBS 뉴스에 등장한 "SBS 빅-지수"
SBS 빅-지수는 대선 주자별로 포털 검색량과 SNS 호감도, 뉴스 주목도를 종합해, 
여론조사가 놓칠 수 있는 숨은 표심까지 반영하는 지수입니다. 
여론조사와 무엇이 다르기에 뉴스에서 특집으로 다루고 있을까요?

그 이유는 2016년 미국 대선 결과 예측 때문입니다.
TV 여론 조사와 출구 조사 모두 힐러리 클린턴이 대통령 당선이 확실시된다고 예측하였습니다.
국내뿐 아니라 외국에서도 힐러리 당선에 맞추어 힐러리의 일생을 조명하는 책과 다큐멘터리가 준비되어 있었습니다.
그런데 투표 결과는 우리의 예상과 달리 도널드 트럼프가 백악관에 입성하였습니다.
이런 여론조사와 달리 구글 트렌드 분석만이 유일하게 트럼프 당선을 예측했답니다.

구글 트렌드는 구글에서 제공하는 검색 서비스로서, 특정 검색어에 대한 검색량을 그래프로 제공하는데, 
개별 국가뿐만 아니라 국가의 특정 지역이나 도시에서의 검색량까지 제공한다.
이런 빅데이터 분석이 선거 결과뿐 아니라 미래를 예측하여 주가나 매출액도 예측할 수 있다고 합니다.

우리 모두는 불확실한 시대에 살면서, 삶의 매 순간 의사결정을 강요받게 된다.
결정에 필요한 적절한 정보가 없다면 직감과 경험으로 결정을 내려야 한다. 
기업의 생사가 걸린 입찰과 기술 개발이라면 과연 그 결정에 대한 책임은 누구의 몫이 될까?

제가 다니는 모터 회사의 기술 개발 트렌드를 확인하기 위해 구글 트렌드에 접속해 보았습니다.

놀랍게도 5년간 구글 검색 트렌드가 그래프로 나타나며, 향후 모터 시장의 추이를 예측할 수 있게 되었네요.
또한 모터별 지역별 검색 빈도도 확인할 수 있어 해당 제품을 어디에 팔아야 하는지도 알게 되었고요.
설마 하는 심정으로 접속해 보았는데, 믿기 어려울 정도로 정확한 데이터가 한눈에 보이니 깜짝 놀랐습니다.
이런 빅데이터 분석 자료를 무료로 배포해 주는 구글에 감사 인사를 하고 싶네요.

그런데 국내에서는 구글보다는 네이버와 다음이 우위를 점하다 보니, 구글 트렌드에서 국내 자료는 조금 빈약하게 조회가 됩니다.
앞으로는 구글을 더 이용해야 할 것 같습니다.