|
총선거,대선 등 선거전을 앞두고 갤럽.리서치 코리아 등 유권자들에게 다양한 형태의 설문조사가 시작된다.연령별,지역별,남.녀별,투표성향 등을 미리 조사하여 선거에 활용하여 유권자들의 반응과 결과예측을 끌어 내는데 흥미로운 점은 출구조사가 거의 맞아 떨어지는 거 같기도 하지만 얼마전 대선에서 보았듯이 출구조사가 예상을 빗나가고 투표결과가 깔끔하고도 공정하지 못한 점이 석연치 않다.
현미국 대통령인 버락 오바마가 2기를 맞이하고 있는데 그가 대선에 나오기 1년 6개월 전부터 그를 지지하는 다양한 계층들이 발벗고 나서 ＜빅데이터＞를 가동하고 그의 승리를 위해 다양하게 설문조사를 이끌어 가고 이러한 노력이 오바마에게 2기의 영광을 안겨 주었다.미국과 같이 언론과 표현의 자유가 활발한 국가인 만큼 이러한 데이터로 차기정권을 예측할 수도 있으며,이러한 조사가 다양한 분야에서도 구체적인 활용,통찰력을 심어 주는데 충분하다는 생각이 든다.
한국에서도 현정권 후반기에 들어서면 자천,타천으로 차기정권의 후보자가 물망에 오르면서 유권자를 향한 다양한 조사가 이루어지기도 하지만 미국과 같은 스케일의 조사도 아니고 꾸준하게 유권자의 귀에 들어 오지도 않는다.정치 풍향계에 대한 유권자의 관심이 크지 않고 유권자와 후보자간의 밀착도 및 관계가 무르익지 않았다는 반증이다.후보자가 우선 뽑히기만 하면 되기에 벼락치기 시험준비하는 수험생과 같이 유세기간에만 유권자에게 집중과 몰입하고 그후로는 양심과 약속을 내동댕이친 채 자기 밥그릇 챙기기에만 열을 올리는 것이다.그러니 어느 유권자가 선량에게 믿음과 신뢰를 주고 지지를 할 것인가.
빅데이터는 소셜 네트워크 시대를 맞이하여 이를 십분 활용하고 있다.트위터와 페이스북,인스타그램,핀터레스트,텀불러,링크드인,스마트폰과 무선 인터넷 서비스 등이 바로 그것이다.오바마는 풀뿌리 사회운동가 출신으로서 열정에 찬 젊은 자원봉사자들을 모집하여 유권자들을 일대일로 만나 이야기를 나누면서 표심을 파악하려 한다.비싼 TV 광고,물량공세를 활용해야 승리할 수 있다는 미국 공화당과는 다른 차원의 선거전략으로 보여진다.일장일단이 있겠지만 시대의 흐름은 소셜 네트워크의 시대가 아닐까 한다.빅데이터는 규모,다양성,속도면에서 공화당이 추종불허할 정도로 정교하고도 면밀하다는 특징을 읽을 수가 있다.
선거가 시작되면 대부분의 유권자들은 마음 속으로 누구를 찍을 것인가를 미리 정해 놓는다.커다란 돌발요인이 없다면 이러한 유권자들은 자신이 생각하는 후보자에게 한 표를 던질텐데 문제는 이도 저도 아닌 중도층이다.빅데이터가 분류하는 중도층은 세 부류이다.하나는 특정한 정치지향성이 있지만 후보자들의 견해를 판단할 수 있는 정보 부족으로 중도층으로 분류된 사람들이고,또 하나는 정치에 무관심하며 광고나 설득에도 반응하지 않는 사람들이다.마지막으로는 내면에 상호충돌하는 두 가지 가치관이 내재되어 있어 조사에 대한 두 가지 방향의 응답이 상쇄(相殺)되어 중도층이라고 분류된 사람들이다.이중 첫 번째와 세 번째를 잘 공략해야 하는데 첫 번째 부류에게는 그들의 정치적 태도를 포착할 수 있는 정보부터 수집하고 마지막 부류에게는 충돌하는 두 가지 이슈 중에서 자기편으로 끌어들일 수 있는 변수를 찾아 캠페인에 나서야 한다.
변화와 혁신의 토대를 기치로 내걸은 빅데이터는 유권자 데이터베이스 구축부터 IT 인프라 개발과 운영,빅데이터 분서과 마이크로 타기팅,행동과학과 실증주의,빅데이터로 중무장한 자원봉사자들 등이 일사불란하게 진행되어 왔던 것이다.빅데이터가 말하는 기술과 분석력은 결국 선거,기업 등의 조직의 리더가 데이터 분석을 요구하고 그 결과를 바탕으로 의사결정을 하려는 의지와 자세를 구성원 전체에 보여 주고 이를 수용하며 변화해 나갈 때 빅데이터의 진정한 의미와 가치가 있다는 것을 발견하게 된다.미국에서는 현실정치에 대한 홍보와 친근감을 어린이부터 인식시켜 주기에 그들에게 정치는 밥과 같고 불가분의 관계에 있다는 것을 새삼 느끼게 한다. |
|
오바마 대통령의 인터넷 전략. 오바마 대통령은 2008년 부터 인터넷과 SNS 소셜네트워크를 통하여서 시민들과 더 가까워지게 되었고 흑인으로서 최초의 대통령으로 당선되었다. 인터넷을 적극 활용하였다. 발로 뛰면서 많은 사람들에게 전하는데 한계가 있기 마련이다. 2008년 당시에는 스마트폰도 있지 않았지만 페이스북을 이용해서 사람들과 서로 소통을 하고 필요로 하는 대통령이 무엇인지 파악하는 노력을 통하여서 대통령에 당선이 되었다. 오바마 대통령이 처음으로 취임할 때 선거를 준비하면서 혼자만의 노력이 아니었다. 오바마 대통령은 대통령을 하는데 있어서 정보화 시대가 되었고 점 점 더 많은 발전을 하게 될 것이기에 지금의 시대가 올 수 있도록 자신의 모든 힘을 쏟았던 사람들을 만나면서 조언을 구하고 조언 받은 것을 토대로 미국을 지휘해 나갔다. 책에서 처음 시작 부분을 통해서 영화 머니볼에 대한 이야기가 잠깐 나오는데 이 영화에서는 한 야구팀을 만들게 된다. 팀을 만들기 전에 야구의 득점을 내기 위해서는 출루율이 좋아야 하고 방어율도 좋아야 하는데 출루율이 괜찮은 사람들을 조사하고 모아서 2002년 시즌 20연속 우승을 하였다. 이 영화는 책으로도 나와 있는데 영화이면서 책인 제목은 머니볼 : 불공평한 게임에서 승리하는 예술이란 책도 쓰여지게 되었다. 이 초반 부분을 읽으면서 오바마 대통령도 지휘를 해 나가는 것을 보면서 다른 대통령 후보에 비해 준비를 더 해가고 시대가 변하는 만큼 그 시대를 따라가 적극 활용한 다는 것을 알 수 있었다. 오바마 대통령은 IT에서 종사하면서 일을 하던 사람들의 말을 통해 빅데이터는 점차 사용 하는 회사들도 많아 질 것이고 잘 사용할 줄 알아야 할 만큼 회사들이 갖고 있는 엄청난 자료들을 관리하는데 많이 사용이 된다. 한층 빅데이터에 대해 IT에서 집중되어지고 있고 신경 쓰이는게 한, 두 가지가 아니다. 그런 시점에서 대통령이 IT에 관심을 가지고 있고 대통령 취임을 준비하는데 있어서 오바마 선거 캠프 선거를 준비하는데 도움을 주던 IT에 관하여 잘하는 사람들이 있는데 그 사람들이 대통령이 IT에 가까워지는데 도움을 줄 것이고 종사하는 사람들의 입장에서 오바마 대통령도 물어보기 쉬웠을 것이다. 한번 대통령 취임한 후에도 하려던 부분 중 미처 못 한 부분을 위해서 두 번째 대통령 선거에도 도전을 하였다. IT에서 일을 하고 대통령 선거 캠프 외에도 본인의 좋아하는 분야를 하면서 자신의 갈 길을 갔을 것이다. 자신이 가는 길이며 좋아하는 일을 함으로 인해 2번째 오바마 선거 캠프에서는 처음과는 달리 해보자는 생각을 하게 되었고 빅데이터를 활용한 선거 활동을 하게 되었다. 시대가 흘러 가는거에 대해 관심이 없고 어려워하기 마련이지만 관심을 가지고 재출마 했기에 당선된 것으로 보인다. 이들은 유명한 IT회사에서도 빅데이터를 활용하였으므로 인기가 많고 오라는 이야기가 많다. 앞으로도 빅데이터 말고도 또 다른 IT의 진면목이 좋은 일에 더 활용될 것으로 보인다.
|
|
영화 머니볼은.. 경험이나 눈썰미, 직감등으로 선수를 평가하던 시절.. 통계전문가를 영입한 오클랜드 애슬레틱스의 실화를 배경으로 하고 있다. 그는 철저히 데이터에 의존하여, 1달러당 출루율이 좋은.. 즉 승리에 기여할 수 있는 선수들을 팀에 합류시켜 기적을 만들어낸다. 이와 비슷하게 철저하게 데이터에 기반하여 진행된 오바마의 선거운동을 '머니볼 선거운동'이라고 한다.
"오바마 캠프의 테크놀로지팀이 구축한 시스템은 평균 초당 4GB의 용량을 처리했으며 1초당 1만 개의 작업요청을 수행하고 평균 2,000대의 서버를 3개의 데이터센터에서 운영하였고 전체 사용한 데이터의 저장 용량은 180테라바이트였으며 총 처리한 작업요청은 85억 개 였다" 2012년 미국 대통령 선거에서 재선에 성공한 오바마 선거 캠프에서 테크놀로지팀의 운영그룹 리더였던 스콧 반델플라스의 트위터에는 이러한 메세지가 남아있다. 대선을 승리로 이끄는데 큰 공을 세운 그가 구축한 빅데이터의 양은 내가 상상할 수 있는 한계를 벗어난 수준이였다. 빅데이터에 대한 책을 몇권 읽어보기는 했었는데, 이번처럼 빅데이터를 활용한 선거전략을 체계적으로 분석한 것은 처음 접해보았는데 정말 빅데이터의 힘이 제대로 느껴졌다.
|
|
빅데이터 승리의 과학 - 빅데이터는 당신이 무엇을 선택할지 알고 있다.
정확히는 표지 사진^^을 보고 나서 들었던 생각은 '빅데이터가 유행은 유행인가보다. 정치에도 접목시키나??? 이젠 온데 다 가져다 붙이는구나^^' 였다. (그런 의미에서 책 제목과 표지는 참 중요함.)
그 진정한 실체와 실제로 어떻게 적용하고 사용하는지 구체적인 방법들에 대해서 알아가는 것이 힘들었다.
선거 캠프의 목적을 달성하기 위해서 빅데이터와 기술은 단지 '화력을 증강시키는' 즉 조직의 목표 달성을 위해서 지원하는 도구로서 사용했다. 그리고 빅데이터 분석과 기술을 완벽하게 활용하기 위해서는 이것들을 이용할 마이크로 타켓팅과 각종 통계 분석 기법, 그리고 행동과학, 자원봉사자들과 도구들 등 많은 다른 학문들과 도구들의 활용이 필요하다는 점을 보여준다. 그러한 모든 사항들이 적절히 진행되었기 때문에 빅데이터가 승리의 도구, 과학이 될 수 있었다는 것이다.
비록 기업의 사례는 아니지만, 기업이 다루는 것보다 더 크고 많은 데이터를 단기간에 특정한 목적을 위하여 활용한 이 사례는 빅데이터를 어떻게 활용해야 하는지 알고 싶은 사람이나 기업에게 꼭 필요한 본보기인 것 같다. |
|
버락 오바마의 치밀한 전략이 엿보이는 대단한 작업!
오바마 대통령은 재선 운동 당시 인구 2억여명의 성향을 파악할 수 있도록 분석을 합니다.
많은 인구의 정보를 파악해야하므로 요새 대세로 떠오른 빅데이터 기법을 채택한 것입니다.
빅데이터 분석 기법은 MLB의 오클랜드 애슬레틱스의 '머니 볼'의 분석과 상당히 일치하다는 것을
알 수 있습니다.
"야구는 출루가 목적"이라는 야구통계 분석가 피터의 방식으로 포지션 별 출루율(타자)과 방어율(투수)
등의 기록 을 모아 화려한 스타팀은 아니지만 기록상으로 보면 팀에 대한 기여도가 높은 선수들이기
때문에 결과적으로 리그에서 성공한 팀이 되었다고 책에서도 소개되었습니다.
(저도 머니볼 영화 봤습니다.)
오바마의 빅데이터 전략도 이것과 아주 유사하다고 볼 수는 없겠지만 자신이 대표로 나올
나라의 국민들에 대한 자료를 항목별로 분석하고 또 분석해 전략을 세웠다고 하는 것은 어찌보면
전 세계에서도 본받고 따라해볼만한 가치가 있는 방법이라고 생각합니다.
(우리나라 IT업게들도 현재 빅데이터 전문가를 모셔오기 위한 전쟁중에 있죠!)
오바마 진영은 스마트폰 앱을 통해 유권자들의 정보와 성향을 파악하여 분석하기에 이릅니다.
분석한 결과에 따라 자신의 지지율이 부족한 지역에 집중유세하고, 토네이도에 의한 피해가
많았던 곳들과 피해규모를 파악해 피해복구에 최선을 다하는 모습에 미국을 다시 한번 맡겨도
되겠다는 유권자들의 표심을 자극하게 된 결과로써 저번 미 대선은 '빅 데이터의 승리'라고
불릴만한 작품이 된 것이죠.
롬니 진영도 나름 분석에 최선을 다했지만 오바마 진영에 "구글을 따라한다"는 식으로
비판하기에만 급급했죠.
저번 대선 결과에 의해 전 세계에서 빅 데이터의 중요성이 대두되고 있습니다.
우리나라도 현재 그런 대세를 따르려 노력하고 있습니다만 미국에 비해 4~5년 정도는
뒤쳐졌다고 봐야합니다.
많이 늦었지만 우리나라도 관련 분석가를 학부생 때부터 키워나가 장차 실무자로써
일할 수 있도록 지원을 아끼지 않아야 미국에 뒤쳐지지 않을 수 있습니다.
그럼 이상으로 서평을 마치겠습니다. |
|
빅데이터.. 요즘 IT업계에서 참으로 인기 있는 말이다.. 예전에는 쓰지도 못했던 고용량의 데이터를 지칭하는 말이지만 요즘은 그 데이터로 인해 더욱더 정교한 마케팅등이 가능해졌다.. 특히나 이 책에서 나오는 오바마의 빅데이터 사용은 그야말로 삼국지 유비의 책사 제갈량과 같다고 말할수 있다 단순히 말한다면 빅데이터의 사용으로 자신을 지지하는 유권자들과 그렇지 않는 유권자들을 구분하고 그들에 맞게 자신의 공략과 그들에 맞는 광고를 할수 있었다는것이다
물론 하나하나의 데이터는 작다.. 나의 데이터를 가지고는 아무것도 할수 없다. 하지만 오바마 대선캠프는 한명한명이 모여 수십명 수백명.. 그들의 데이터 하나하나까지 그들이 접속하는 웹사이트까지 알수있었고 그들이 누구를 찍을지까지도 매우근접하게 알아내었다 이렇게 요즘은 빅데이터의 사용이 눈길을 끈다 우리가 흔히쓰는 구글번역....그것도 이 빅데이터를 기반으로 분석해서 우리들에게 번역결과를 알려준다 하지만 제일 중요한것은 이 빅데이터 자체가 아니라 이것을 어떻게 어디에 쓸것인지가 제일중요하다 단순히 많은 데？延拷？ 가지고 있다고 어디에서나 승리할수 없다 자신의 목표에 맞게 쓰일때 그 빅데이터가 승리의 칼이 될수 있는것이다
이렇게 지금 많은 기업들이 빅데이터를 사용하고 있다 더욱더 세분화된 광고.. 나에게 무엇이 필요한지 무슨 광고를 해야 할지.. 많은 발전 가능성이 있다.. 이제는 우리가 이 빅데이터를 사용해야 하지 않을까..? 아니 우리나라가 이제 사용해야 하지 않을까...? 이 빅데이터라는것을 모르는 이들이 많다... 나 역시도 몇가지 책을 읽기전에는 알지도 못했다 단순히 많은 양의 데이터일까? 라고 생각만 했다. 이제 이 빅데이터를 알고 사용하는 자들이 승리하는 시대가 왔다.. 어떻게 쓰느냐에 따라 빅데이터는 승리의 칼이 될수도 빅 쓰레기가 될수 있다... |
|
서평을 시작하기 전 잡담 -
빅데이터. 빅데이터... 참 말이 많이 나오고 있고 IT분야의 혁신이라고 불리기까지 하고 있는 빅데이터.. 2009년과 2012년에 ucloud 개발에 참여를 하였지만... 솔직히 2009년에는 이게 뭔지조차 몰랐던 분야였다. 알 턱이 없지 않은가.. 이제까지 알고 있던 데이터기법이라고는 기껏해야 자연어 분석을 통한 검색이 제일 진보된 검색이었으니까.. 흠.. 그래서 진보된 기술인 빅데이터라는 것을 알아보고 싶었고 우연찮게 출판사에서 한권을 선물받았다. 자~ 빅데이터란게 뭔지 알아봅시다^^
책 설명 - 책의 내용은 오바마와 롬니의 미국 대통령 선거를 두고 어떻게 IT기술이 쓰였고 어떤 차이가 있었으며 그 차이에서 빅데이터는 엄청난 역할을 해냈다는 것이다. 그런데 의문점은.. 번역판이.... 아니다? 한국분께서 쓰셨다. 그래서 어설픈 번역판보다 훨씬 잘 읽히는 장점이 있다. 읽다보면 대단하신 분이라고 생각된다. 미국의 선거를 이렇게까지 분석할 수 있다라는 게 신기할뿐... +_+;;
책의 아름다운 모습 - 책에서 다루고 있는 이야기가 오바마가 대통령에 당선되기까지 빅데이터가 하는 역할이기 때문에 오바마의 얼굴이 대문짝만하게 있다. 그리고 눈에 딱 들어오는 주황색~ 개인적으로는 꽤 괜찮은 디자인이다.
서평 - 솔직히 3장까지는 지루하다. 책 읽다가 많이 졸았을 정도로 지루하다. 처음엔 여기저기에 있는 빅데이터로 성공한 사례들을 적어놓았다.
1장에서는 이 빅데이터들이 어떻게 만들어질 수 있는지 현재의 세상에서 얼마나 많은 데이터들이 만들어지고 있는지 설명하고 있다.
2장에서는 대통령선거에 사용될 유권자들의 데이터들을 어떻게 구축할 수 있었는지 설명이 나온다.
3장에서는 빅데이터를 활용하기 위한 환경을 어떻게 구성하였는지 나온다. 코드명 외뿔고래와 클라우드 기술, 장애복구훈련 등을 통하여 얼마나 오바마 진영이 IT기술을 잘 활용했는지 보여주고 있다.
아~ 서평조차도 지루해져버린다. 3장의 외뿔고래가 나오기 전까진 책을 그만 읽을까 했었다. 외뿔고래가 출현하면서부터 책이 흥미진진해지기 시작했다.
4장에서 통계학을 이용하여 어떻게 마이크로 타기팅을 하는가를 설명하면서부터 본격적으로 이 빅데이터의 활용처가 분명해진다.
5장은 굳이 IT전문가나 관계된 사람이 아니더라도 쇼핑몰의 MD나 상담가 같은 사람들같이 대중을 읽을 수 있어야 하는 사람들이 꼭 알고 있어야할 만한 사항이 적혀있다. 많이 사용되지만 잘못된 통계기법인 작은 실험그룹을 통하여 모집단을 판단하는 것은 부족하고 실험적인 여러 방안을 생각하여 판단해봐야 한다는 사실이다. 사람의 마음을 움직이기 위해서는 그 사람을 판단할 수 있어야 한다는 사실은 누구나 기본적으로 알고 있지만 실천하기 어렵고 그 타겟을 파악하는 방법에 있어서 이 책을 봄으로써 조금 더 알 수 있지 않을까 생각이 된다.
6장에서는 이 빅데이터를 어떤 도구들을 사용하여 이용할 수 있었는가에 대해 설명해주고 있다. 보면 볼 수록 SNS의 파괴적인 힘을 느낄 수 있었다. 굳이 책을 보지 않더라도 지금 당장이라도 SNS가 만들어내는 엄청난 데이터들을 보라. 그리고 각각의 소통들을 보면... SNS는 필수다!!!
7장에서는 빅데이터를 사용하지 못한 패배자에 대해 설명하고 있다. IT기술을 적극 활용한 오바마 진영과 남들 배만 채워준 롬니진영. 미국의 국민들은 빅데이터를 활용한 마이크로 타기팅으로 자신에게 좀 더 접근한 오바마의 손을 들어주었다.
8장에서는 데이터리더쉽에 대해 설명을 한다. 데이터만 가지고는 아무것도 이룰 수 없고 그 데이터를 다루는 사람이 중요하다는 것이다. 데이터를 어떻게 다루어야 하는가... 라는 것은 기업이나 단체에서 처한 상황이나 목적이 틀리기 때문에 각자 풀어야 할 숙제이다.
괜한 스포일러를 하고 싶지 않아 생각나는 내용만 적어보았다.
서평을 마치며 - 이 책을 권하고 싶은 사람이 IT관련 전문가가 아니라면 3장까지는 그냥 찢고 주기를 바란다. 괜히 이것저것 설명해주려다가 가지고 있는 지식이 바닥나서 피곤해질 수 있다. 3장까지는 IT관련 전문가라면 꼭 알아야 하는 내용이다. 사람의 마음을 얻어야 하는 홍보관련일을 하는 사람이나 쇼핑몰MD같은 분은 5장만은 꼭 읽어보게 하고 싶다. 개인적으로는 저자분이 참 대단하신 것 같다. 한국인으로써 미국의 선거에서 사용된 빅데이터에 관하여 이렇게 잘 풀어낼 수 있을까 싶다. 책을 보면서 몇번이나 저자 이름을 확인할 정도였으니까 말이다.
빅데이터! 현재 시점에서는 통계학과 맞물려 사람을 이해할 수 있는 최고의 방법이다. 하지만 이 빅데이터를 수집하는 과정에서 개인정보를 침해당할 수도 있다는 점은 저자도 걱정하고 있다. 이 빅데이터가 사람의 마음을 이해하는 방법이 될 것인가? 아니면 사람의 마음을 침해하는 방법이 될 것인가?
요새 하도 개인정보 침해때문에 말이 많은데 부정적으로는 발전하지 말았으면 하는 바램이다.
p.s : 책을 읽다보면 저자가 추천한 여러 책이 있는데 꼭 읽어봐야 할 주옥같은 책들이다.
|
|
빅데이터, 승리의과학 소위 IT업계의 끄트머리에서 밥을 먹고 있는 사람으로서 그래도 IT트랜드(Trend)에는 살짝 귀를 열어 놓고 신문조각을 읽듯 정보를 수용하는 사람으로서 올해의 주요 이슈라는 빅데이터(Big Data)에 전혀 무관심할 수 만은 없었다. 그러나 열심히(?)일만 해야 하는 요즘 상황에서는 빅데이터의 도입은 커녕 제대로 알기도 쉽지 않다. 그나마 최신 동향을 귀동냥하는 동아리 게시판에서 빅데이터에 대해 누군가 흘려주는 조각들을 맞추고 있었다. 그런데 누군가 빅데이터 활용에서 하둡의 역할에 대해 이야기를 하는 순간 빅데이터는 갑자기 프로그램이라는 큰 벽으로 가로 막혔다. 그리고는 그냥 그냥 문자 그대로 ‘올해의 키워드’로 돌아가 버렸다. 대충 감은 잡았으니 위안을 삼으며 말이다. 그러다가 이 책을 읽게 되었다. 보통의 경우 책을 잡으면 한 달음에 읽어 나가는 습관 때문에 어떤 종류의 책이던 하루에 읽는 분량이 일정하지만 이상하게 이 책을 읽고 있는 동안에는 진도가 나가지 않아 힘들었다. 내용은 어려워서도 아니고 재미가 없어서도 아니었다. 알고 있던 것들을 지워버리자. - 빅데이터란? 1/3 정도를 읽은 후에 그 동안 알고 있던 조각의 지식들을 모두 버려야 했다. 빅데이터라는 것이 세상에 산재한 모든 자료, 즉 모든 콘텐츠들에서 특정 목적에 유의미한 것을 산출해낸다는 개념을 제외하고는 빅데이터에 대한 오해들을 모두 지워 버려야 했다. 가장 큰 오해는 바로 방법론에 대한 것이었다. 흔히 빅데이터가 어떤 기법이라는 식의 이해가 쉬운데 사실 빅데이터는 새로운 기법도 아니고 어떤 기술을 의미하는 것도 아니다. 빅데이터는 개발자들이 다루는 솔루션만을 의미하지도 않다. 빅데이터가 산재한 모든 콘텐츠를 모아 분석한 후에 의미있는 콘텍스트로 만들어 내야 하기 때문에 반드시 통계분석이 필요하다. 따라서 빅데이터의 방법론에서는 프로그래밍 보다는 통계분석이 더 중요하고 더 많은 시간이 할애된다. 사실 협의에서 보면 빅데이터에서의 IT의 역활은 대량의 데이터를 다수의 방법으로 빠르게 처리할 수 있는 화일시스템의 적용, 빠른 처리 능력을 가진 하드웨어와 대량의 데이터 저장을 위한 크고 안정적인 클라우디 컴퓨팅 시스템을 구축하는 것이다. 사실 오마바측의 디지털팀 책임자인 조로스파스의 회고에서 보듯이 그들이 새로 만든 것은 거의 없었다. 그들이 수행한 것은 기존에 만들어져 있던 것들은 적절히 배치, 연결하고 효율적으로 운용한 것이다. 따라서 ‘빅데이터=하둡’ 이런 식으로 피상적으로 이해하게 되면 어쭙잖은 지식과 무식한 추진력으로 IT에 대한 불신만 키울 수 있다. 사실 필자가 빅데이터를 공부해보자 했던 마음에 걸림돌이 되었던 하둡도 알고 보면 빅데이터 용이라기 보다는 기존에 이미 존재하는 FAT32같은 화일 저장과 호출 방식에서 진일보한 대용량 화일 시스템 방식 중에 하나일 뿐 이다. 그 동안 어설프게 알고 있던 빅데이터에 대한 지식들을 모두 모른체하고 이 책을 읽어보자. 빅데이터라는 개념이 만들어진(사실 거의 모든 IT의 기반이 시작된) 미국에서도 빅 데이터를 적절하게 이용한 눈에 띄는 사례는 찾아보기 힘들었다. 물론 빅데이터라는 개념에는 집단지성 같은 개념도 포함되어 있기(필자의 의견) 때문에 아마존 같은 사례를 빅데이터의 사례라고 말할 수도 있을 것이다. 그러나 빅데이터는 자체 시스템 밖을 포함하고 고정된 형태의 데이터가 아닌 어떤 형태로 존재하는 디지털 데이터를 모아서 의미 있는 결과를 만들어내는 것이기 때문에 특정 쇼핑몰이나 다른 목적과 물리적으로 분리된 서비스라도 연동이라는 조치를 통해 이루어지는 흐름을 빅데이터 라고 말하기에는 애매한 구석이 있다. 그런 상황에서 2012년 오마바 선거캠프에서 이루어진 일련의 기술적 실험과 진보는 큰 의미가 있다고 할 수 있다. 혁신이 어렵지만 효과는 폭발적 인… 일반 기업의 마케팅 활동에서는 제품의 특징을 정의하고는 일부터 마케팅 대상을 정하고 그들의 특징을 정의하여 소구점을 찾아내는 작업 그리고 실행과 실행 후 성과를 측정하는 일련의 절차에서 오차를 줄이기 위한 노력으로 각종 통계치, 소비자의 성향을 분석한 이전의 자료, 선별된 소비자 그룹에 대한 인터뷰(FGI) 광범위한 설문조사의 결과를 동원한다. 심지어 이 분야 최고의 베테랑의 감(?)까지도 동원한다. 모든 과정들의 목적은 당연히 특정 제품이나 서비스의 판매 촉진이지만 한편 마케팅에 소요되는 모든 자원 대비 결과(ROI)을 높이자는 목적도 크다. 선거도 메커니즘을 보면 기업의 마케팅 활동과 동일한 원리가 적용이 된다. 다만. 그 규모나 중요성이 매우 높다 보니 자칫 기업에서는 흔하게 행해지는 마케팅 활동이 무시되는 경우가 종종 있다. 정치권은 어떤 권력자의 의지나 이익집단의 압력행사, 공공연히 퍼져있는 관료주의 등으로 인해 분석과 평가 없이 캠페인(Campaign)이 진행되는 경우가 많다. 2008년 오마바가 미국 대통령을 당선되었을 때 그의 당선이 SNS의 힘, IT의 힘 입은 바 크다고 한 적이 있다. 2008년 대선 때 오마바 캠프가 IT자원을 충분히 활용한 것은 아니었다. 그러나 그 때까지 정치권은 여전히 일부 전문가라는 이들의 소위 ‘감’에 의해 캠페인이 진행되던 시기라서 그 정도로도 획기적으로 보였던 것이다. 기술 그리고 리더 오마바 캠프는 대선 1년 6개월 전부터 캠프를 차리고 자신들의 방향성을 잡는데 이 때 가장 필요하다고 인지된 것이다. 유권자들의 성향을 분석하여 일선 자원봉사자들(선거활동가들)에게 최적화되고 적중률 높은 예측 데이터를 제공하는 것이었다. 2008년에 일부 시도는 되었지만 당시에는 이들도 경험이 부족했고 민주당 내의 분위기상 제대로 된 준비를 할 수 없었다. 그런데 2011년에는 달랐다. 2008년에 경험한 긍정적인 경험과 데이터를 통해 의사결정에 대한 신뢰 그리고 2억명이나 되는 유권자들의 상세한 데이터를 분석하고 처리할 수 있는 방법들이 존재하고 있었다. 그리고 가장 중요한 부분이 준비가 되어 있었다. 2008년에 이미지 오바마는 기존 정치권에서 행해지던 권력자와 소위 전문가라는 이들의 주관적인 판단에 대한 도전장을 내밀었었다. 또한 이번에는 캠프 책임자인 짐 메시나의 인터뷰처럼 ‘데이터를 통하지 않은 어떤 한 결정도 없다’고 라고 못을 막아 버렸다. 그리고는 유래가 없는 엔지니어와 과학자 모집에 들어간다. 통계학자, 예측분석 모델링 기술자, 프로그래머, 디자이너들이 대거 캠프에 합류한다. 오바마 캠프의 디지털팀은 300명이 넘었고 이들은 캠프 1년전에 이미지 작은 성과들을 만들어 가고 있었다. 이에 반해 롬니의 캠프는 시작에서 늦었고 예산도 비교가 안되었으며 롬니가 그 유명한 베인 컴퍼니의 컨설턴트 출신이고 성공한 비즈니스맨임에도 불구하고(어쩌면 이런 배경 때문에 당연 했을지도 모르지만) 소위 전문가라는 이들을 주변에 배치한 후 해당 분야에 대해 그들이 알아서 하게 내버려 두었다. 모든 기술적 지원은 캠프에 입성(?)한 해당 분야 전문가들이 자신의 회사에 외주를 주고 유독 서버들 만을 캠프 내에서 집중 관리하는 행태를 보였다. 보안 유지를 위해 데이터는 내부에서 관리하고 각종 서비스는 비용 절감을 위해 저렴한 용역 업체에 주는 전통적(?) 형태의 시스템을 구축했다. 오마바 캠프가 취한 몇 가지 혁신적인 전략 오마바 캠프는 키 데이터 일부만 자체에 두고 대부분의 서버를 전국적인 데이터 센터를 갖추 아마존에 맡겼다. 선거를 위한 시스템은 선거 막바지에 이르면 트래픽(traffic)이 폭발적으로 증가하지만 선거가 완료되면 대부분 처분해야 하기 때문에 자체에서 구축하기에는 비용 부담이 엄청나다. 그리고 초기에 시스템을 구축하고 난 후 예기치 못한 사고로 시스템이 죽거나 예상치 못한 트래픽 폭주로 서비스가 먹통이 되는 경우에 원활한 대응을 하기 어렵다. 그러나 아마존의 클라우드(Cloud) 서비스는 서버를 전국 단위로 분배할 수도 있고 트래픽이 폭주하면 자동으로 서버를 증설하거나 서버들의 성능을 조정할 수 있고 사용한 만큼만 비용을 지불하는 방식으로 비용 절감과 원활한 서비스를 동시에 잡을 수 있었다. 선거에 소용되는 소프트웨어와 APP, 웹사이트 등의 모두 디지털 팀에서 캠프 내 각 팀에서 요청하는 사양들을 정리하여 만들었다. 다만 기본적인 모듈들은 가능한 오픈소스(Open Source)를 이용하여 팀의 자원을 절약하도록 했다. 이 결정은 소프트웨어 운용 경험이 많은 사람이라면 당연한 결정이다 상용 소프트웨어는 초기 도입 비용은 저렴하지만 조직의 요구에 맞게 바꾸는 작업은 상당히 비싸고 더욱 큰 문제는 변경하는데 시간이 어마 어마하게 든다. 거기다가 여러 가지의 상용 소프트웨어를 동시에 연동하여 사용하는 경우에 각 SW마다 서로 맞지 않는 부분을 수정해야 하고 자동화가 되지 않아 발생하는 업무 손실이 많으며 거기다가 오류가 발생하더라도 외부 전문인력에 손에 맡겨야 하기 때문에 비용과 시간 소모가 심하다. 가장 큰 손실은 궁극적으로는 이렇게 상용SW만으로 구성된 시스템의 경우 내부에 적절한 인력을 배치하기 어렵기 때문에 운용자체를 각각의 외주 업체에 맡겨야 한다. 거기다가 최악의 상황은 비싼 돈을 들여서 도입한 시스템에 대한 운용 노하우를 소유할 기회가 없다는 것이다. 자율적으로 돌아가는 팀을 구성하여 전문가들의 힘을 배가 시켰다. 오마바 캠프의 디지털팀은 각 분야의 전문가들이 모였고 팀은 상위 조직이나 비 IT조직에 관리를 받지 않는 조직이었다. 따라서 관료적일 수 있는 캠프 분위기에 끌려가지 않고 자신들의 아이디어를 충분히 발휘하여 캠프 각각의 조직에서 필요로 하는 최선의 툴들을 제공하고 때로는 적절한 선거 진행을 위한 제안을 할 수도 있었다. 빅데이터/ 빅리더, 누구의 승리인가? 2012년 미국 대선에서 오바마가 재선에 성공하면서 캠프내의 디지털팀은 말 그대로 상종가를 쳤다. 그리고 오마바 캠프가 선거를 진행하면서 사용한 소위 ‘빅데이터’라는 전략(?)은 마치 승리 도구인 것처럼 유행을 하는데 필자가 결론을 지으면서 생각한 것은 과연 승리의 기술은 어떤 것이냐? 이다. 빅데이터인가 아니면 빅리더(보스)인가 이다. 빅데이터를 적절히 사용하기 위해 사용된 기법이나 기술이나 서비스 모두가 성공의 중요한 요인들이었지만 그 이전에 리더(보스)의 올바른 판단과 추진력이 반드시 필요했다는 점에서 일방적으로 빅데이터의 승리라고 말하고 싶지 않다. 마지막으로 빅브라더(Big Brother)의 문제는 쉬운 명제는 아니지만 반드시 집고 넘어가야 할 문제이다. 오마바 캠프가 어떻게 데이터를 모으고 의미를 만들어 갔는지에 대한 소개에서 보면 개인정보가 제거된 채 우리의 일상 생활의 흔적이 묻은 거의 모든 데이터가 수집되고 거래가 된다. 그리고 그렇게 가공된 데이터는 어떤 경로를 통해서든 다시 개인 식별 정보가 붙어서 사용된다. 자칫 개개인의 일상이 분석될 가능성이 충분하다는 이야기이다. 누군가 악의적으로 이 방대한 데이터를 취합하고 이용할 수 있다는 점은 개인, 기업, 국가 할 것 없이 조심스럽게 접근해야 할 문제이다. |
|
융단폭격의 시대는 끝나고 드론공격기의 시대가 왔다 현대 시대는 빅데이터를 이용해 개개인의 수요를 완벽히 추정해 낼 수 있다 지난 미 대선에서 오바마는 300명이 넘는 IT 팀을 이용해 유권자의 성향을 분석하여 선거에 임했다 해당 팀은 화력 증폭자라고 스스로를 칭하며 우리가 없었더라도 오바마는 선거에서 이겼겠지만 우리 덕에 완전히 이긴 것이라고 말했다
공화당의 롬니는 빅데이터 팀에 책임자를 공대를 갓 졸업한 어린 친구를 앉혀두었지만 오바마는 구글이나 애플, 트위터와 페이스북의 인재들이 회사를 관두고 캠프로 들어왔다 이들이 만든 프로그램은 외뿔고래이다 개인의 수효를 외뿔로 정확히 타격하여 자신의 유권자로 만든다는 의미이다 이에 대항해 공화당은 범고래 프로그램을 만들었지만 정작 선거 당일에 다운이되어 범고래가 외뿔고래에게 찔려 죽었다는 풍자가 떠돌았다
민주당의 테크놀러지 팀은 유래가 없을 정도의 트래픽에 견딜 수 있게 프로그램을 만들었으며 2억명에 달하는 유권자들을 데이터베이스에 추가하여 해당 유권자에게 맞는 선거운동을 맞춤하여 진행했다 따라서 연애인 누구를 동원해야 후원금이 가장 많이 걷히나도 시뮬레이션 결과를 토대로 선정했고 적은 돈으로 가장 효과가 높은 채널에 집중해서 캠페인 광고를 내보냈다
미국에서 오바마는 절대로 거져 이기지 않았지만 한국의 민주당은 너무 요행을 바랬다 지난 대선에서 문재인이 패배한 것은 뒷받힘하는 당의 총체적 무능이 한 몫 했다 예를 들어 미 공화당의 테크놀러지 팀에는 나이가 지긋한 문외한들이 한 자리를 차지했고 업무는 친구 회사에 아웃소싱을 주었다 선거라는 대목 앞에서 서로 나눠먹기를 한 것이다 오바마의 테크놀러지 팀원들은 이미 여러 IT회사들에서 러브콜을 받고 있다고 한다
빅데이터는 앞으로 근 5년간의 화두로 보인다 |
|
|
||