https://blog.naver.com/johnpotter04/222737332629

빅데이터 분석에 입문해보자!

빅데이터를 소개하기 위해 태어난 책

데이터 전문가들이 일반인에게 빅데이터를 소개한다. 일반인이 빅데이터를 개괄적으로 이해할 수 있도록 돕는다. 어려운 통계 이론을 정말 쉽게 설명한다. 이론을 주해하기보다 어떻게 실생활에 이용되는지 보여주면서, 자연스럽게 이론을 습득할 수 있다. 통계에 아무런 지식이 없어도 충분히 이해할 수 있다. 빅데이터 입문으로 최적이다.

빅데이터란 무엇인가요?

빅데이터의 세계를 들여다보자

1장은 빅데이터가 무엇인지 소개하는 데 초점을 맞췄다. 마케팅, 품질검사, 예측, 정보 조회 등 다양한 분야에서 응용되고 있는 빅데이터를 소개한다. SNS, 마케팅 광고 등 생활에서 쉽게 접해볼 만한 것들로 하여금 빅데이터가 어떻게 활용되는지 보여준다.

데이터 접근 단계는 '데이터', '인사이트', '가치'로 이루어져 있다. 추출된 데이터에 인사이트를 결합해, 가치를 창출하는 과정을 거쳐야 한다. 설문조사 등을 통해 데이터를 수집하면, 이 데이터를 적절하게 처리하고 해석해서 유의미한 결과를 도출한다.

빅데이터 분석에는 각 단계에 맞는 역할이 있다. 데이터 사이언티스트(Data Scientist)는 데이터 이론을 연구하고 개발한다. 데이터 엔지니어(Data Engineer)는 데이터 사이언티스트들이 개발한 데이터 이론을 기반으로 데이터를 수집하고 추출한다. 데이터 애널리스트(Data Analyst)는 데이터 엔지니어가 추출한 데이터로부터 인사이트(Insight)를 도출한다.

데이터 수집 단계는 데이터 사이언티스트와 데이터 엔지니어의 영역이며, 데이터에서 가치를 창출하는 건 데이터 애널리스트의 역할이다. 데이터를 해석해 결론을 이끌어내는 과정은 통계 지식만 가지고 할 수 없다. 인사이트는 통계 지식만을 의미하는 게 아니라, 각 분야의 전문 지식과 경험을 총괄한다. 따라서, 데이터 애널리스트는 빅데이터뿐만 아니라, 각계 전문 지식을 갖고 있는 융복합 인재여야만 한다.

빅데이터의 순간들

머신러닝, 딥러닝, 회귀분석, 데이터 시각화 등 다양한 빅데이터의 기법들

2장은 데이터 시각화를 다룬다. 비즈니스 데이터, 공공 데이터, SNS 데이터, 데이터 시각화에서 자주 활용되는 세 가지 데이터를 통해 다양한 데이터 시각화 방법을 보여준다. 어릴 때부터 접하는 그래프와 분포도 뿐만 아니라, 주식 차트에서 볼 수 있는 박스 플롯 등을 볼 수 있다. 데이터 시각화는 실생활에서 자주 접하기 때문에 어색하지 않다. 평소에 생활하면서 접하던 그래프나 도표의 명칭이 어떤 것이었는지 알게 된다. 특히, 신문 기사나 PPT, 일상생활에서 자주 접하는 다섯 가지(시간 시각화, 분포 시각화, 관계 시각화, 비교 시각화, 공간 시각화) 시각화를 설명해 주는데, 대학생 이 조별 과제를 수행하면서 숱하게 제작하는 PPT에서 이용하는 그래프들이 각각 어떤 효과를 가지고 있는지 배운다.

3장은 인공지능과 머신러닝의 기본 원리를 다룬다. 인공지능과 머신러닝의 핵심인 분류와 예측이 어떤 원리로 작용하는지 보여주는 게 핵심이다. 독립변수(예측변수)와 종속변수(반응변수)의 관계, 범주형 데이터와 연속형 데이터 등을 여러 사례로 만날 수 있다. 여러 변수 간의 상관관계를 분석하여 특정 경향성을 나타내는 함수를 찾아 다음 결과를 예측하는 회귀분석의 원리를 상당히 쉽게 설명한다. 특히, 경제학이나 통계학 전공자라면 공식으로만 배운 어려운 이론을 실례를 통해 쉽게 접근할 수 있다. 이론 위주 강의실 수업에서 벗어나, 실제 생활에서 쓰이는 통계를 만나는 계기가 된다.

4장은 여러 데이터를 비슷한 특성끼리 모아 분석하여 비지도 학습 등에 사용되는 군집분석을 소개한다. 군집에서 서로 다른 개체 또는 특징 간 비슷한 정도를 나타내는 유사도의 중요성을 설명하고, 유사도를 측정하는 다양한 거리함수를 소개한다. 군집분석에는 '군집'을 어떻게 형성할 것인가가 핵심이기 때문에, 군집에 따라 같은 데이터라도 결과가 달라질 수 있다. 같은 군집끼리는 같은 점이, 다른 군집끼리는 다른 점이 명확해야 잘 구성된 군집이다. 따라서, 여러 선택에도 같은 군집으로 묶인다면 그 군집의 신뢰도는 높다며, 어떻게 군집을 선택하냐에 따라 결과가 달라질 수 있으니 다양한 선택과 결과를 고민해 볼 필요가 있다고 조언한다.

5장은 인공신경망으로 데이터를 학습하는 딥러닝, 알고리즘에 따라 데이터를 수집하고 판단하는 머신러닝을 소개한다. 직관적으로 사물을 이해하는 사람과 달리, 컴퓨터는 모든 걸 숫자로 인식하기 때문에 인물 사진 등의 데이터를 숫자로 변환하여 딥러닝과 머신러닝을 수행한다. 다양한 데이터 변환 법과 알고리즘이 존재하는데, 적절한 방법을 선택하는 건 사용자의 몫이다. 여기서, 머신러닝은 가중치를 어떻게 설정할 것인지가 핵심 논제다. 머신러닝에 있어서 가중치가 설정되면 데이터는 자동으로 결정되는 특징이 있기 때문이다. 또한, 데이터 마이닝은 딥러닝의 기초이기 때문에, 목표에 적합한 데이터 마이닝을 찾아야 한다. 저자는 머신러닝과 딥러닝에 있어서 적절한 가중치와 데이터 마이닝이 핵심이라는 걸 강조한다.

6장은 데이터와 텍스트 분석을 설명한다. 데이터는 숫자와 같은 정형 데이터와 동영상과 사진 같은 비정형 데이터가 있다. 세상은 비정형 데이터의 세계로 머신러닝과 딥러닝에서는 비정형 데이터를 정형 데이터로 변환하는 게 핵심이다. 비정형 데이터를 크롤링(스크리밍) 작업과 전처리 작업 등 사전 작업으로 정형 데이터로 변환하고, 키워드 분석, 트렌드 분석, 네트워크 분석, 임베딩 분석 등 텍스트 분석에 활용한다. 텍스트 분석은 텍스트의 문맥이나 숨은 의미를 파악하는 것이 핵심이다. 은유인지, 직설인지, 무의미한지 그 의미를 파악하는 게 사람도 어려운진데 컴퓨터는 더 지옥이다. 저자는 'Garbage in, Garbage out(쓰레기를 넣으면, 쓰레기가 나온다)'이라는 대전제를 이야기하면서, 텍스트 분석에 앞서 명확한 목표와 소스를 파악해야 한다는 것에 방점을 찍는다.

연금술사와 빅데이터

흥미로운 유사성

한창 빅데이터에 관심이 많아, 애널리스트 과정에 집중적으로 공부하고 있는 요즘, 데이터 산업이 광산업과 상당히 유사하다는 걸 느낀다. 채광하기 전에 원하는 광물의 수율에 맞는 광산을 찾고(데이터 수집 및 소스 분석), 불필요한 광물을 걸러내어 제련하고(데이터 전처리), 제련된 광물을 원하는 목적에 맞게 가공한다(데이터 분석). 맨땅(빅데이터)에서 금(가치)을 찾는다는 목표까지 유사하다. 예나 지금이나, 금을 향한 인간의 탐욕은 끊임없었고, 빅데이터도 다르지 않다.

과거, 연금술사라는 직업이 있었다. 연금술사는 흔하게 만날 수 있는 원소를 이용해, 완전무결한 원소 '금'을 연성하는 방법을 연구했다. 애니메이션 ＜강철의 연금술사＞로 대중에게 알려진 그들은 금을 연성할 수 있는 물질인 '현자의 돌'을 찾아 일생을 바쳤다. 화학이 발전하지 않았던 시대, 그들의 도전은 현대인의 시선에선 이그노벨상이나 다윈상이 떠오를 만큼 하찮은 낭비로 보인다. 하지만, 그들의 도전은 절대 무용한 게 아니었다. 현자의 돌을 찾는 과정에서 새로운 화학 물질을 발견하고, 더 효율적인 제련 방법을 발견한다. 연금술사들이 현대 화학의 기틀을 다졌다고 해도 과언이 아니다.

빅데이터도 마찬가지다. 빅데이터 산업을 한마디로 요약하라면, 쓸모없는 데이터에서 유형의 가치를 창출하는 산업이라고 볼 수 있다. 연금술사가 금과 현자의 돌을 찾으려는 것과 같다. 광고 등 돈에 몰두하는 모습이 금을 찾아 헤매던 연금술사와 비슷하지만, 연금술사가 화학을 발전시켜 인류에 공헌했듯이, 빅데이터도 인류 삶에 공헌하고 있다. 음성을 텍스트로 전환하는 알고리즘을 개발해서 청각장애인을 돕거나, 부정부패와 단합 등 불공정 행위를 찾아내는 알고리즘을 이용해 발각되지 않았던 부정행위를 찾아낸다. 이렇듯, 빅데이터 산업은 점점 우리 삶에 스며들고 있고, 우리 삶을 더 풍요롭게 한다. 앞으로 빅데이터가 어떤 세상을 만들어갈지 흥미진진하다. 일생을 바칠 가치가 있는 재미있는 산업이다.

중고등학생 시절부터 '인터넷은 정보의 바다'라는 말을 듣고 살았으니, 지금은 '바다'라는 말로 표현하기엔 부족할 것 같은 시대이다. 글을 적고있는 이 시간에도 SNS든 포털이든 많은 양의 정보가 계속 생성되고 있을 것이다. 여기서 정보는 누군가가 필요한 데이터를 가공 처리한 것들을 말한다. 이것은 많은 양의 정보는 그보다 더 방대한 데이터에서 창출된다는 것을 의미할 것이다. 그럼 그 많은 데이터 중에서 어떤 것이 내게 필요한지 판단해서 가공해야하는 나는, 무엇을 기준으로 데이터를 가공할 것인가?

나의 직무 수행을 위해서 또는 어떠한 일의 성공을 위해서 데이터를 잘 활용할 줄 아는 것은 아주 큰 능력이라고 생각한다. 수많은 데이터 중에서 내가 필요한 것과 필요하지 않은 것을 가려낼 줄 알고, 그걸 잘 활용할 수 있게 도와주는 것에 대해 막연함을 가지고 있었는데 이 책에서는 독자들이 어렵지 않게 데이터를 활용할 수 있는 방법과 다양한 사례들을 소개한다. 사람들이 많이 알고 있는 브랜드, 사례 등을 통해 묘사분석, 예측분석, 진단분석 등을 소개하고 어떻게 빅데이터를 다루는지 설명해주는데 특히 비전공자가 데이터를 잘 다룰 수 있는 방법이나 더 나은 의사결정을 위한 데이터 접근 방법을 소개하는 부분이 인상적이다.

판매자의 입장으로 구매자들의 후기를 모두 살펴보다가 보기 쉽게 시각화 하기 위해 워드 클라우드를 사용해 본 경험이 있다.(요즘은 R이나 파이썬 같은 프로그램을 쓰지 않아도 최근에는 구글이나 포털 서비스를 통해서 간단한 워드 클라우드를 어렵지 않게 할 수 있다.) 간단하게 말해보자면 구매 후기 중에서 디자인이 유의미했는지, 또는 활용성이 좋았는지 등을 알고 싶었는데 가장 크게 표현된 글자는 '잘받았어요'인 것이 충격적이었다. 기사에서 활용 사례를 봤던 것처럼 내가 필요하고, 보고싶은 단어만 추출될 줄 알았는데 그러지 않아서 '역시 난 전공자가 아니라서 할 줄 모르네'라고 넘겼던 것들이, 이 책을 읽고나서 어떤 점을 잘못했던 건지 그러기 위해선 내가 미리 잘 짜놔야만 필요한 자료를 추출할 수 있다는 것을 깨닫게 된 것이었다.

이 책은 왜 데이터를 활용하는 것이 중요하고, 어떻게 활용한 사례가 있는지. 그리고 왜 이러한 분석이 중요한지를 나처럼 쉽게 생각하고 도전했다 실패한 사람이 읽기에 유익하다.

데이터 분석의 기본 전제 중에 '쓰레기를 넣으면 쓰레기가 나온다(Garbage in, garbage out)'이라는 말이 있다고 한다. 데이터를 대하는데 어떤 마음가짐을 가져야 하는지 많은 생각을 하게 만드는 명제인 것 같다.

데이터 천재들은 어떻게 기획하고 분석할까? 조성준,조재희,김성범,이성임,조성배,이영훈 공저 21세기북스 | 2022년 03월

21세기북스의 책을 아끼는 이유 중 하나는 전문가들이 집필한 최신 흐름을 독자가 지면으로 만날 수 있다는 장점이다. ＜서가명강＞과 ＜인생명강＞ 등의 기획을 통하여 요즘 믿고 선택하는 책들을 선보이고 있어서 독자로서 때로는 도전적이기도 하지만 무척 흥미롭다. 이과 영역에 관심을 더 보이는 아이를 본다면, (아무 것도 모르는 저지만) 권하고 싶은 분야는 바이오과학과 데이터 분야 쪽이다. 사실 우리 큰 아이에게 빅데이터를 밀고 있다. 몇 해전에 아이와 함께 송길영 데이터마이너(광부^^)의 특강에 데리고 가고 가끔 그 분의 특강을 재미있게 즐기는 팬심도 작용한다. 이 책의 공동 저자로 참여할 뻔했으나 못한 사연도 머리말에 소개되어 반가웠다.

이렇듯, 이 책의 저자군은 빅데이터의 강자 학자들로, 서울대에서 개최해 온 마이닝 캠프 등을 중심으로 학문, 기업간의 협업이 빚어낸 책이다. 캠프 등의 활동을 바탕으로 공동집필진이 대중에게 꼭 전달하고 싶은 것은

데이터의 의미와 이를 바라보는 관점,

시각화, 예측, 클러스터링, 이미지와 덱스트 데이터의 분석 등 핵심 분석 방법

을 각자의 전공과 무관하게 이해하고 활용할 수 있는 능력이라고 밝힌다.

기업과 공공기관에서 활용하여 의사결정을 하고 있는 우리 일상 속에서 이제는 모르면 안되는 것이라고 힘 주어 말한다.

덱스트 분석 등은 송길영 전문가 등의 특강 등으로 이해가 더 쉬운 편이었으나 - 아쉽게도 고교 입시 문과 수학이 경험한 수학의 전부인 탓에 수학적 수식이 가득한 장은 건너 뛰며 볼 수밖에 없었다. 5부의 이미지/동영상 분석도 흥미로운 장이다. 아무리 멋진 사진과 동영상이어도 컴퓨터는 숫자로 변화해서 인식하고 작업한다는데 동일한 곳, 사람을 인식하게 하는 숫자의 임계치를 통하여 번개 같은 속도로 처리하는 능력으로 분석을 해낸다. 제일 쉬운 예로는 자동차의 번호판 등 숫자나 문자를 인식하는 것이다. 저자는 의료 영상에서 정상 세포와 질병 관련 세포를 구분하는 것도 언급하는데, 최근 왓슨을 매각한 IBM의 행보와 우리나라 의료 현장의 상황을 바탕으로 보면 정교한 단계는 아닌 것 같다.

읽고 쓰는 것을 즐기는 내가 가장 즐겁게 읽은 장은 '비지니스 성패를 가르는 텍스트 데이터에 주목하라'는 6부이다. 6부 말미에 텍스트 분석을 잘 하기 위한 저자의 제안이 뒤따르는데 최근에 읽은 ＜AI는 차별을 인간에게서 배운다＞ (역시 21세기북스의 책이라 반가운^^) 도 환기됐다.

부록으로 데이터마이닝과 관련한 구체적인 직업과 해당 학과를 소개하고 있다. 아이들에게 권하고 싶을 정도로 이 분야에 관심을 갖고 있는 나로선 반가운 부록이다.

진로로 고민 중인 청(소)년들을 비롯하여

책의 서두처럼 나의 온라인 활동을 기업과 공공기관이 어떻게 수익 등 여러 활동에 어떻게 사용하는지 궁금한 모든 이들께 추천한다.