데이터를 엮는 사람들

데이터 과학자 

일선에 몸 담고 있는 데이터 과학자가 들려주는 이야기.

요즘 '빅데이터' '알고리즘' '머신러닝' '딥러닝' 등 관련한 단어들이 즐비한 가운데 

이 책 제목인 '데이터 과학자' 라는 다소 생소한 직업을 접하게 되었다.

과연 어떤 직업일까? 데이터를 어떤식으로 다룰까? 이런 궁금증과 함께 시작.

목차는

1부 데이터 과학자의 일하는 마음 

2부 데이터 과학자가 일하는 법

3부 데이터 과학자가 생각하는 세상

이렇게 나누어져있다.

 데이터 과학자인 작가가 앞서 경험해 본 이 일들의 경험을 바탕으로 데이터 과학자를 꿈꾸거나 진로를 생각하고 있는 사람들에게 꿈과 환상보다는 있는 그대로를 말해주는 책이었다. 그렇다고 겁을 준다거나 그런것은 아니다ㅋ

특히 1부에선  '데이터 과학자' 라는 네이밍이 없기 전부터의 데이터 과학자 인생을 살고 있던 선배와의 대화처럼 바로 기업에 들어 갈것인가 학위를 더 취득할 것인가 등의 내가 한창 진로 고민했을 때의 질문들에 대한 이야기들이 담겨있다.  

때로는 데이터 과학자가 기업의 위치에서 결정권자가 아닌 '돕는' 역할이기 때문에 본인의 한계를 느끼는 부분이라거나 경계선이 명확한 업무들이 아니기에 그 모호함 등을 가감없이 이야기해주고 있다. 또한 기업내에서 연구 뿐아니라 커뮤니케이션까지 이 모든 것을 해내야 하는게 데이터 과학자란 직업이라고 설명해주고 있다.

그와 동시에 나같은 일반인에게도 마지막 3부에선 데이터를 접할 때 경계해야 할 점으로 '좀비통계'  요즘 기사에서 단순하고 자극적인 문장으로 데이터의 결과만 달랑 쓰고 사람들에게 고정관념으로 그 온전하지 않는 데이터가 쓰임을 주의하고 함정에 빠지지 말기를 당부하고 있었다.  

그와 동시에 가장 공감했던 부분은 

배움의 시작은 익숙함에만 만족하고 익숙함에서 낯섬을 찾지 않는다는 것의 두려움이었다.요즘 시대에 단순화 하는 것을 좋아하는 시기인 것 같다. '이것만 알면 완성'같은 광고같은 배움에 대해 머신러닝의 불확실성과 함께 이야기하는데 그 부분이 참 와닿았다.

'현대의 석유'라 부는 데이터를 다루는 사람들의 이야기들을 다양한 각도에서 들어볼수 있어서 흥미로운 책이 었고,데이터나 통계에 대해 지식이 없었지만 이미 여러 매체에서 익숙했던 용어들이기 때문에 읽기에 부담없고 쉽게 읽히고, 데이터의 바다에서 살고있는 나 역시 단순하게 무방비하게 받아들이고 지나쳤던 데이터들을 다시금 마주쳤을 땐 이 책이 생각날 것같다. 

YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다

'yes24 리뷰어 클럽 서평단 자격으로 작성한 리뷰입니다.'

카이스트 출신이자 포항공과대학교 출신인 권정민 과학자의 책이다. 빅데이터와 인공지능이 화두인 시점에서 데이터에 관한 오해와 중요성을 일깨워주는 측면의 책이라고 할 수 있다. 얼핏 어려운 이야기일 것 같고, 전문적인 이야기만 가득할 것 같지만 데이터 분석 과학자의 입장에서 일반인들도 알기 쉬운 부분을 교양서적으로 쉽게 이야기했다. 물론 그 사이에 데이터 과학자로서 잘못 쓰이는 데이터나 통게, 그 현상에 대한 억울함과 분노, 억하심정도 들어있다. 그만큼 데이터가 일반인들의 생각과 다른 분야인것이 많기 때문이다.

그래서 이 책은 데이터 과학자나 데이터 분석쪽 일을 하거나 관련 일을 하려는 사람들에게 더더욱 필요한 책으로 보인다. 데이터 분석의 현실을 보여주고도 있으며, 데이터 과학자로서 지켜야 할 윤리나 지침들을 잘 정리해놨기 때문이다. 동시에 일반인들도 그들의 관점에서 데이터 통계의 허상과 추천 알고리즘의 문제점을 이해할 수 있는 계기가 되는 책일 것이다. 사실 그 부분만 언급해도 데이터에 대한 수많은 오해와 왜곡이 어느 정도 요약된다. 이상은 만능 인공지능이지만 현실은 데이터 쓰레기 산 위에서 헤매면서 어떻게든 의미와 답을 찾아내려는 실종자 찾기와 같은 분위기이기 때문이다. 인터넷 시대를 사는 우리들이 꼭 알아야 할 부분들이다. 결국 우리들이 그 데이터 쓰레기를 만드는 사람들이고, 그 데이터가 우리의 미래가 되어가고 있으니까. 그런 면에서 가볍게도 무겁게 읽을 수 있는 교양 서적이 되지 않을까.

**확증편향의 증거로 쓰이는 데이터 통계의 무수한 왜곡과 오해를 많이 봐왔지만 과학자들은 더 뼈아픈 것 같다.

***사실 통계는 결론을 맞춰놓고 맞출 수도 있는 영역이다.

****가장 중요한 것은 데이터는 과거의 것이라는 지점 같다. 미래를 예측하려 애쓸뿐 지나간 과거의 것이다.

*****성공 사례 분석도 책에서 그렇게 이야기하고 있다. 그때는 됐겠지만 미래에는 수많은 변수가 있어서이다.

******과거를 통해 미래를 대비할 수 있지만 진짜 미래가 닥치면 어떻게 될지는 거의 예측대로 되기가 힘들다.

*******전쟁이 가장 대표적인 예이다. 그동안 무수한 자료와 통계로 러시아를 보고 있지 않았던가.

********실전과 같은 훈련으로를 아무리 외쳐도 실전에서 벌어지는 황당한 변수는 너무나 많다.

*********그리고 많은 나라들이 그 지점을 숨기고 있다. 미군조차도 아군 오인사격과 오폭이 허다할 정도니.

**********통계도 사실 수학과 함께 발전했지만 전쟁으로 더 커진 분야가 아니던가.

***********경제와 주식도 마찬가지인 것 같다. 언제나 예측 가능하다고 큰 소리 치는 사람들만 있고, 의외의 변수에 달라진 것에는 아무 말도 하지 않는다.

************그래서 성공 사례 분석이 좀 위험할 수 있다. 과거들의 공통점이 엉뚱한 걸 가리킬수도 있다.

*************사실은 그 너머의 진짜를 찾아봐야 한다. 유전자나 집안 환경의 원인, 대부분은 초기 자본에서 갈리지만.

**************게다가 세상은 수많은 운과 우연으로 점철되어 있지 않은가. 가장 인과관계가 확실한 곳은 픽션의 공간뿐이다.

***************무질서한 쪽으로 퍼져나가는 미래라는 걸 생각해보면(빅뱅 이후) 미래의 변수는 당연히 더 복잡해지고 더 많을 것이다. 멸망이라는 부분으로 단순화 되지 않는 이상.

****************언제쯤 공정과 평등에 대한 판타지가 사라질까. 통계만 봐도 중립적이기 쉽지 않은데. 실은 공정과 평등이라는 이름하에 어떤 집단에서 뺏어서 다른 집단에 뿌리는 정도일 뿐인것 같다.

*****************균형이 완벽하게 맞으면 생명체가 태어나지 않았을 것이다.

******************생명체들이 위기를 만들고 있으니까. 심지어 자신들이 망하게까지 하면서. 일부 생물들은 그렇게 멸종했고, 인간도 지금 그러고 있다.

*******************모두 똑같은 사람이 아니고 똑같은 출발점, 시공간이 아니기에 다 달라질 수 밖에 없다. 하지만 우리는 자꾸 같아지려는 혹은 비슷해지려는 묘한 이상향을 꿈꾼다.

********************하지만 언제나 더 가진자와 덜 가진자로 나뉠 뿐이다. 정보조차도.

*********************데이터도 곧 정보이다. 이제 디지털 세대들은 자신이 태어나면서부터의 정보가 대부분 인터넷에 쌓이고 어느 정도 실체화가 되고 있다. 정보를 가진 자가 무서워지듯, 개인 정보의 위험성도 더 커지고 있다.

**********************데이터를 해석하고 정보를 해석하려면 결국 더 많고도 다양한 기본 지식이 필요하다. 그 문화권을 알아야 그 문화권에 적합한 답을 내놓듯이 말이다. 인문학이 간과되고 있지만 거꾸로 인공지능 쪽에서 인문학을 찾는 이유와도 같다. 결국 모든 것은 연결되어 있다.

************************즉, 미래가 될수록 더 전문가가 되기 힘들고, 전문가도 더 좁은 의미가 될 확률이 높다. 다 연결하고 결합해서 해석해야 할 범위가 넓어지기 때문이다.

*************************그래서 더 공부를 많이 해야되는 시점이 올지도 모른다.

**************************물론 그것을 컴퓨터나 검색에 의존해서 해결하려고도 하겠지만 그것에만 의존하다보면 그야말로 과거 바보상자소리를 들었던 그 상태가 될지도 모른다. 직접 경험하고 생각하고 해석해내야 한다.

****************************더 나아가서 미래에는 모두가 데이터 분석을 할줄 알아야 될지도 모르겠다.

*****************************오늘날 가짜 뉴스 사태도 마찬가지다. 통계 조작이 많고 해석 조작이 많다.

******************************심지어 유리한 통계만 가져오는 경우도 있다. 출처를 안 밝히거나 오래된 과거의 요인을 제거안 한 것을 가져오기도 한다. 2010년대 이후것만 있는 것과 1970년대부터 있는 것은 다르다. 스마트폰이 있던 시절과 없던 시절만큼이나 많은 것이 바뀌었으므로. 그걸 평균 내어 버리면 이상한 답이 도출될수도 있다.

********************************때로는 그 통계 결과의 원인을 잘 찾는 것이 중요하다. 원인 안에 변수가 숨어 있고 변수 안에 오염 변인이 있기 때문이다.

*********************************역시 이 쪽도 보이는 게 다가 아니다. 진실은 보이지 않는 것에 있다.

**********************************항상 쉽게 그럴싸해 보이는 것이 보통 가짜다.

***********************************이상하고 추하고 요상해 보이는 것들이 의외로 진짜다.

************************************통계에서도 다크 데이터나 딥 데이터를 활용하면 인간의 추한 면이 적용되면서 더 엉망이 되고 말 것이다. 그걸로 만든 AI는 끔찍할 것이다. AI가 거짓말을 못하거나 인간처럼 잘 숨기고 살지 않는다면.

*************************************그래서 더더욱 AI의 미래는 멀었는지도 모른다. 우리가 생각하는 이상적인 AI의 미래가.

**************************************알파고가 너무 큰 이벤트 마케팅 쇼가 되어버렸다. 그 이후에 AI한테 지고 있거나 AI에 대한 판타지와 거품이 생겼다.

***************************************세상은 바둑판에 갇혀 있지 않다. 바둑의 규칙정도로 변수가 작지도 않다. 경우의 수도 현실이 바둑보다 더 많다. 복합 변수이므로. 그렇지 않다면 코로나도 예측했을 것이다.

****************************************최근 Chat GPT가 열풍이다. 대화형 인공지능이고, 역시 여러 공포심을 심어주고 있다. 하지만 역시 과거 기반으로 미래 예측모델이다. 큰 변수가 생기거나 인류가 여기에 위기감을 느끼고 과거식의 방식을 개선이라도 하면 또 확 달라질지도 모른다. 오히려 과거 스타일에 머무르거나 갇힌 논문 양식이 금방 비슷하게 나오는 것처럼. 변하지 않고 머무는 것은 빨리 따라잡힌다.

******************************************오히려 다른 부분에서 공포인 것 같다. 인간과 비슷해졌다면... 인간이 얼마나 무섭고 추하고 욕망스러운가. 그걸 닮은 인공지능이 나온다면... 정말 인간을 닮은 걸 만들어야 하는게 맞는 것일까? 가끔 그게 궁금해진다. 인간은 지금도 어디서 싸우고 전쟁을 일으키며, 계급을 나누고 있다.

##인상적인 문구들##

##인터넷 시대가 되면서 정보를 습득하는 것이 놀랍도록 쉬워졌다.~하지만 이렇게 정보를 찾는 방식이 쉬워졌다고 해서 정보습득의 불균형 같은 문제가 모두 해결되었을까? '빅데이터'라는 단어가 어색하지 않고 사람들의 수많은 정보가 모이는 '정보 사회'가 되었지만, 사람들이 언제나 제대로 된 정보를 자유롭게 얻을 수 있을까? 인터넷에는 좋은 정보도 많지만 이상한 정보는 더욱 많다. 슬프게도 이상한 정보 중엔 사람들의 눈에 띄고자 하는 의도를 가지고 만들어진 것들이 많아서 그런 정보들은 사람들에게 더 쉽게 노출된다.~광고와 의도적으로 만들어진 유사정보가 먼저 노출되고~자극적인 정보는 사람들이 많이 보면서 우선순위가 높아지다 보니 검색을 잘 하는 법과 정보를 거르는 법에 대해 익히지 않으면 의도를 가진 주체에 의해 휘둘리기 마련이고 본인도 모르게 주체의 의도대로 짜여진 길로 가게 된다.

##많은 정보를 수집하려고는 하지만 유용한 정보를 공개하지는 않는다. 정보가 많아질수록 유용한 정보의 가치는 더 높아지고, 이는 특정 사람들에게만 전해진다.~많은 사람들은 그 데이터에 휘둘리고 데이터의 일부로 사용될 뿐이다. 정보 권력의 힘은 존재하고 정보는 누구에게나 평등하지 않으며 정보의 재분배 같은 것은 이루어지지 않은 채 데이터의 불균형은 데이터의 몸집이 커질수록 같이 거대해지고 있다.

##세상은 너무 빨리 변하고 있다. 과거엔 '정보를 어디서 어떻게 찾아야 할지 몰라' 지쳤던 시기였다면, 현재는 '수많은 데이터 중 내가 찾아야 하는 정보와 버려야 하는 정보를 명확히 구분할 수 없어서'무력해진다. 사람들이 어떤 형태로든 정보에 의해 무력해지는 것은 비극이다. ~가만히 있다가는 수많은 정보에 밀려 뒤처질 것 같은 막연한 불안 속에 살아간다.

##생각해보면 '데이터'는 우리에게 꽤 익숙하다. 원시 시대에 날짜를 세기 위해 해가 떠오를 때마다 막대기에 줄을 긋거나 혹은 한 동굴 안에 사는 사람이 몇 명인지 세기 위해 사람 숫자만큼 동굴 앞에 가져다 두는 것도 일종의 데이터 기록으로 볼 수 있다. 그만큼 데이터와 인류의 관계는 오래전부터 시작되었다.

##2000년대 들어서면서 무선통신과 모바일 기기가 보편화되고 수집되는 데이터양이 폭증하기 시작했다. 2010년 이후 1년에 쌓이는 데이터의 양은 2010년 이전 5천 년간 수집된 데이터의 양을 넘어서기 시작했고 데이터와 서비스의 종류도 다변화되었다. 1990년대 존 마쉬가 데이터 폭증에 대해서 언급하며 '빅데이터'라는 단어를 처음으로 소개하였고 이 단어는 2010년대 들어 3V(규모 volume, 다양성 variety, 변동성velocity)라는 특성과 함께 본격적으로 널리 퍼지게 되었다. 데이터의 양이 폭발적으로 늘어난 데에는 데이터의 종류가 늘어난 것도 한몫한다.~1990년대 후반 현재의 '데이터 과학'과 유사한 개념인 '데이터 엔지니어링'개념이 등장한다.

##우리의 이러한 행동이 모두 기록으로 남는다. 기본적으로 내가 인터넷에서 무엇을 보고 들었는지, 어떤 글을 썼는지, 누구에게 무엇을 보냈는지 흔적이 남는다. 검색할 때도 검색한 단어와 해당 검색으로 노출된 결과에 대한 기록이 남는 것이다.~사람의 활동이 온라인에 의존하는 경우가 많아지면서 사용자 기록의 해상도도 높아졌다.

##심지어 요즘은 '비정형 데이터'라고 부르는 대화나 웹페이지 같이 무작위로 만든 텍스트나 이미지 , 소리, 음악, 동영상 등도 파일로 모아 데이터로 사용한다.~데이터란 결국 '무언가를 기록하는 것'이다.

##2010년 전후로 기존의 관계형 데이터베이스보다 유연하게 데이터를 저장할 수 있는 다양한 NoSQL이 등장했다. 기존 RDB에서 데이터를 관계형 표 형식으로 기록했다면, NoSQL 유형에서는 데이터를 객체 형태로 기록한다.

##요즘에는 데이터를 분석해서 해결해야 하는 문제도 이전에 비해 다양하다.~데이터를 통계적으로 설명해야 하는 문제부터 예측 모델을 만드는 머신러닝 접근법이 필요한 문제까지 데이터 분석이 필요한 영역이 가지각색이라 이를 하나의 프로세스에서 소화하는 데에 한계가 있다.~따라서 데이터 과학자는 본인이 사용하는 데이터에 대한 책임이 있다.~데이터를 제대로 파악하지 못한 채 잘못된 분석을 했다면 오롯이 데이터 과학자에게 책임이 있다. 빅데이터 환경이 도래하면서 남길 수 있는 데이터와 실제 남아 있는 데이터 사이의 틈이 아주 조금 줄어들었으나 여전히 많은 기업에서는 그 차이가 명확히 존재한다. 심지어는 남아 있기는 하지만 잘못 남아 있는 경우도 다수다.~이러한 일을 하기 위해서는 도메인 지식과 데이터에 대한 이해, 통계지식, 알고리즘 이해 같은 다양한 자질이 필요하다.

##요즘에는 '빅데이터와 인공지능'의 환상이 뿜어내는 빛 때문에 데이터 부넉 결과를 무조건 믿는 이들이 늘고 있다.~데이터 과학자는 '데이터를 분석해서 의미 있는 결과를 찾아 서비스의 현재와 미래를 이해하고 의사 결정을 내리는 데 도움을 주는 일'을 하는 사람이라고 했다.

##모든 사람이 본인의 길을 가는 데 불안함을 느낀다.

##데이터 과학자에게 반드시 필요한 기술적 역량으로 면접에서 꼭 물어보는 것이 있는데, 바로 기본 SQL(Structured Query Language)개념이다.~데이터 과학자가 자신에게 필요한 데이터를 가져오는 것은 기본 능력이며, 이를 위해서 꼭 필요한 언어가 SQL이다.~SQL은 데이터를 가지고 오는 데 사용되는 대표적인 언어이며 쉽고 직관적이다. 데이터 처리 플랫폼은 다양하게 발전하지만 SQL인터페이스는 공통으로 적용하고 있다.

##많은 사설 강의에서 파이썬이나 R을 가르치고 데이터 분석에서 이것만 알면 충분한 것으로 말하지만 실제는 그렇지 않다. 데이터 분석에서의 파이썬이나 R은 데이터를 모아서 가져온 이후에 데이터를 다듬고 통계 모델링을 하는데 사용하는 언어다. 그래서 그 이전에 적합한 데이터를 정제해서 가져오는 데에 도움을 주지는 못한다.~요리를 불판에서 조리하는 게 전부라고 생각할지 모르지만, 사실 요리는 재료를 잘 골라서 다듬는 데서 시작하고 이 부분은 시간이 오래 걸리고 귀찮지만 제대로 된 재료 선택과 다듬기가 요리의 질을 좌우한다. 데이터를 다루는 일도 마찬가지다.

##데이터 분석에 기본적으로 필요한 능력이라면 문제를 정확하게 정의하는 능력, 논리적으로 적절한 도구를 사용해 문제를 해결하는 논리적 사고 능력, 데이터에 대한 이해와 객관성, 지속적인 학습에 열려 있는 자세, 커뮤니케이션 스킬이다.~그렇기 때문에 분석 기술을 익힐 뿐만 아니라 배경지식을 제대로 이해하고 비즈니스에 맞게 문제를 풀어나가야 한다.~심지어 의사 결정을 위한 데이터 분석이라면 1인 회사가 아닌 이상 다른 팀과의 협업이 불가피하다. 데이터에서 유용한 인사이트를 얻기 위해서도 다른 부서와의 커뮤니케이션이 필요.

##의외로 많은 일이 그렇듯, 타고난 능력보다 꾸준하게 키워 낸 능력이 더 중요하다.

##데이터 과학에서도 특정 영역이 강조되는 경우가 분명 있다. 그러나 강조되는 영역도 때와 장소에 따라 달라서 어떨 때는 통계 지식이 빛을 발하다 다른 때는 컴퓨팅 능력이 뛰어난 경우에 유리하고 상황에 따라 경제학적 사고가 중요할 때도 있다. 도메인 지식만 갖고도 대부분 해결되는 문제 상황도 있다. 그래서 한때 잘했던 사람이 다른 때는 두각을 못 드러내기도 하고 한 회사에서 능력자였다고 다른 회사에서 꼭 잘하라는 법도 없다.

##일부 기사의 잘못된 내용은 언론의 실수이자 연구자들의 실수이다. 어떤 기사에서는 데이터의 출처를 싣지 않기도 하고 어떤 기사에서는 의미 없는 통계를 가져다 붙여놓고 특정 사실을 사람들이 받아들이도록 강요한다.~어떤 연구자들은 알면서도 데이터를 왜곡해서 사용하기도 한다.~좋은 데이터와 쓸모없는 데이터를 구별하지 못하기도 하고 적절하게 분석하고 해석하지 못하여 과학적으로 잘못된 결론을 내리기도 한다. 하물며 연구자나 언론도 이런데, 회사처럼 이익을 추구하는 집단은 어떨까.~현대의 많은 회사들은 근거 기반으로 추론하고 데이터 주도적으로 결정한다고 표방하면서도 실상은 데이터가 자신이 세운 가설에 맞게 나오기를 원하고 잘 다듬어져 그럴듯한 근거가 되어 주기를 바라는 경우가 많다.~어떻게든 자신의 가설을 단단하게 해 줄 데이터를 찾는다.~영국의 경제학자 로널드 코스는 이런 행태를 비꼬아서 '데이터를 충분히 오랫동안 고문하면 결국은 자백할 것이다"고 말했다.

##기초 통계량까지 가지 않는 게 태반이다. 보통 '평균'에서 끝나 버리기 마련이다. 물론 평균은 좋은 숫자다. 평균이 모든 집단을 대표하지는 않는다.~분포가 어쨌든 상관없이 이해하기 쉬운 평균끼리 비교하면 되고 평균이 생각만큼 나오면 되는 일이다. 차이를 보여 주기 위해 분포나 통계값을 나름대로 보기 쉽게 그래프로 그려서 제시하면 복잡하다고 하고 설명도 듣지 않는다.

##데이터를 좀 더 정밀하게 악용하는 방법으로 최근 몇 년간 데이터 과학자들 사이에서 문제 제기되고 있는 p~해킹이 있다. p~해킹이란 여러 방법을 통해 통계적 유의성을 판단하는 대표적인 기준값인 p-값을 미묘하게 조절하여 유의하지 않은 결과를 유의한 결과로 탈바꿈하는 것이다. 딱히 데이터를 고칠 필요도 없이 신뢰 수준을 현재 데이터가 만족하는 정도로 옮긴다든가 통계치를 다르게 구하는 방식을 사용하면 전혀 다른 결과를 구할 수 있다.~실험 결과의 기준을 임의로 조절해 버리면, 데이터는 그대로인데 기준이 바뀌어 0.07이었던 p-값이 0.04로 바뀌어 유의 수준인 0.05보다 작아져서 유의하지 않은 결과를 유의한 결과로 만들 수 있다.

##많은 연구자는 본인의 연구에 심취해 있고 그러다 보면 자신의 가설을 진심으로 믿어 버리고 실험 결과도 당연히 자신의 가설대로 나와야 된다고 생각하다 보니 이상치 등의 범위를 변경해서 설정하고 결과가 통계적으로 유의미하지 않게 나오면 제약 조건을 잘못 걸었다거나 기준을 잘못 설정했다고 생각하게 되어 버리기 때문일 것이다.

##많은 자기 계발서 및 경영서에서는 훌륭한 사람이나 기업을 분석한 후에 몇 가지 공통적인 특성을 찾아내어 '**법칙'같은 이름을 붙이곤 한다.~하지만 이런 이야기는 '생존자 편향'이란 문제를 가지고 있다. 현재 시점에서 과거를 연구한 다음 그 중에서 성공한 경우만 가지고 오는 것이다.~성공한 사람이나 회사가 가진 특성은 저마다 다르고 어떤 특성이 성공이라는 결과를 가져왔는지 파악하는 데도 복잡한 인과 관계가 성립하기 때문이다.~이런 오류를 '파인만의 함정'이라고도 한다. ~독립적으로 발생한 사건으로 보이는 것도 문제로 주어진 상황의 시공간 범위가 달라지면 독립 사건이 아닐 수 있다. 파인만의 함정은 현실에서 쉽게 발견할 수 있다. 이미 일어난 결과에 이유를 만들어 내는 것은 간단하며 그다지 재밌지도 않다.

##데이터 분석에서 상관관계보다 인과 관계를 증명하는 것이 훨씬 어렵기도 하거니와 역 인과 관계를 수치적으로 추정하는 것은 정말 어렵고 좋은 결과가 나올 가능성도 매우 낮다. 굳이 증명해 보인다고 해도 다른 변수가 고려되지 않은 결과를 이후에 함부로 사용하면 곤란하다.~이런 상황에서 데이터를 만지는 사람이 할 수 있는 것은 결국 '말'이다.~결국 말로써 의사 결정자를 설득해야 한다는 뜻이다. 데이터 과학자들의 말은 곧 데이터가 하는 중립적인 말이고 그 말을 듣는다면 '데이터 기반, 근거 기반'의 의사 결정을 할 수 있을 것이다.

##데이터는 의외로 복잡하고 구멍이 많으며, 사람들의 행동은 생각보다 더 일관적이지 않다. 데이터는 거짓말을 하지 않는다고, 진실만을 말한다고 하지만 유명한 통계학자인 예르지 네이만과 이건 피어슨도 '통계는 진실한 것을 알려주는 게 아니라 무엇을 할지 알려주는 것이다'라고 했다.~어느 한 쪽이 맞는 거라고 알려주지 않으며, 그저 어느 한쪽을 선택하는 게 좀 더 성공 확률이 높다고 조언할 뿐이다.~의사 결정권자가 좀 더 높은 데이터 문해력을 갖추면, 데이터 분석 결과에 대해 중립적이면서도 명확한 시선을 가질 수 있고, 간혹 데이터 과학자의 방향을 수정해 줄 수도 있을 것이다.

##'빅데이터'라는 거품을 더해 한껏 부풀려져 오늘날 이 자리까지 온 데이터 과학은 그 거대한 거품에 은빛 반짝이를 더해 눈부신 모습으로 양상을 조금 바꾸었다. 사람들은 그간 쌓아 온 빅데이터로 인공지능, 머신러닝을 이야기하기 시작했다.~비유하자면 데이터 과학자에게 요구되는 일이란, 종종 한 사람에게 완벽한 부모이자 완벽한 배우이자 완벽한 직장인이 되기를 바라는 것과 같아 보인다.

##많은 분야의 전문가들은 좁고 깊은 지식을 가지고 있다. 그 지식은 필요한 분야에서는 충분히 활용될 것이다. 하지만 이런 '전문가'역할의 공통적인 한계는 특정 문제에 대해서는 정밀한 해결책을 제공하지만, 이를 실제로 적용하는 데는 부가적인 처리가 불가피하다는 것이다.~좋은 데이터 과학자는 데이터 분석 '전문가'다. 이들은 분석을 기업에 빠르게 적용하여 문제를 해결하는 능력을 가지고 있다.~그래서 데이터 과학자에게 중요한 능력 중 하나는 자신이 속한 집단의 문제 해석과 접근 방식을 이해하기 위한 도메인 지식이다.

##데이터 과학자가 이야기를 만들 때 주의해야 할 것은 '데이터를 넘어서는 결과를 말하지 않는 것'이다.~많은 사람이 돋보이기 위해 데이터에서 이야기하는 것 이상으로 색칠을 하고 결과를 억지로 어림잡게 만든다. 이런 사람을 속칭 '약장사'라고 부른다. 불행히도 전문가는 상대적으로 적고 데이터 과학자를 차치하는 데이터 약장사들이 넘쳐난다. 데이터 약장사는 눈에 띄지 않게 중간중간에 거품을 불어넣어 데이터를 뛰어넘는 아름다운 결과를 만들어 내는 데, 이 과정에서 데이터 과학자가 분명히 명시해야 하는 '불확실성'을 지워 버리곤 한다.

##서비스 DB에서 데이터 분석을 바로 수행할 수 없다. 일반적으로 서비스 데이터와 분석용 데이터는 다소 다르다. 흔히 DB에서 OLTP(On-line transaction preosessing, 온라인 트렌잭션 처리)와 OLAP(On-line analytical precessing,온라인 분석처리)로 구분하는데, 서비스에 사용하는 OLTP는 사용자의 행동 흐름에서 각 행동을 연결하기 위해 데이터를 입력, 출력의 용도로 사용하는 경우고 데이터 분석에 사용하는 OLAP는 사용자의 이력을 모아 이 데이터를 효율적으로 분석하려는 용도를 의미한다.

##손발이 맞는 데이터 엔지니어는 데이터 과학자에겐 큰 선물이다. 데이터 과학이란 절대 데이터 과학자 혼자 해낼 수 있는 일이 아닌데, 대부분의 사람은 데이터 엔지니어의 역할과 중요성을 알지 못한다.~양질의 데이터가 필요하다면 개발자와의 소통은 필수다. 개발자와 긴밀하게 일하는 데이터 과학자와 엔지니어는 분명 데이터 입수와 추가, 분석 업무에 유리하다. 아니 아무리 유능한 데이터 과학자여도 원본 데이터가 남지 않으면 제대로 된 분석을 할 수 없고, 훌륭한 슈퍼 데이터 엔지니어를 데려와도 원본 데이터가 활용을 전혀 고려하지 않은 형태로 남아 있다.

##많은 책에서 빅데이터 이야기를 하고, 많은 신문기사에서 빅데이터가 미래라고 이야기한다.~데이터 과학자의 비극 역시 여기에서 시작된다. 사실 이런 데이터 과학자는 이 빅데이터 거품의 최고의 수혜자이자 피해자다. 사실 그 이름부터가 그 거품의 총아다.~데이터 과학에 대한 이야기는 정작 자신이 실제로 추구하는 '데이터'와는 매우 성격이 다른 마케팅과 영업용 용어로 점철되어 있다. 멋진 이야기에는 근거가 없고 실제 데이터 과학자의 겉모습은 엄청 대단해 보이지만, 정작 데이터 과학자들 사이에서는 반쯤 자조적으로 '이를 다 갖추면 유니콘이다'라는 말이 농담처럼 나돈다. 많은 사람들의 머릿속에는 '데이터'에 대한 명확하지 않은 근거와 기반 없는 기대만 가득 차 있으며 이렇게 구축된 생각과 현실 사이의 괴리감은 매우 크다. ~데이터 분석 결과 중 대략 70%는 기존에 이미 알고 있던 내용을 재확인하는 것이고 20%는 쓸모없는 답이고 10% 정도만이 새로운 지식이나 쓸 만한 결과로 만들어진다.

##많은 직업에는 당연히 이상과 현실, 밖에서 보는 모습과 직접 맞닥뜨리는 모습 사이에 간극이 있다. 하지만 데이터 과학자는 이상과 현실의 괴리가 정말 큰 편이다.

##재미나 의미 같은 근원적인 성찰은 개인마다 지향하는 바가 다르기 때문에 그것에 대해서 뭐라고 할 수는 없다. 하지만 그런 것으로 인해 나의 자존감을 깎아 내리는 행위는 일단 멈추자.

##데이터가 필요한 형태로 잘 구축되어 있고 접근 권한도 적절하게 부여되어 있으며 사용자가 필요한 데이터를 제대로 가져와서 적절하게 사용할 수 있는 상태, 또한 모든 구성원이 적당한 데이터 문해력을 갖추고 있고 데이터의 중립성을 이해하고 있으며 데이터를 올바르게 자신의 업무에 활용할 수 있는 상태, 이런 이상적인 기업의 상태를 필자는 '데이터가 잘 흐르는 곳'이라고 표현한다. ~하지만 이는 꿈이다. 많은 사람이 회사에 데이터가 있어야 하고 '빅데이터'가 경쟁력이라는 사실을 피상적으로는 이해한다. 하지만 개중 대부분은 실제 본인들이 가지고 있는 데이터의 실제 모습은 어떤지에 대해서는 신경 쓰지 않는다. 그뿐만이 아니다. 아무도 시키지 않았는데 한 단계 더 앞서간 미래를 상상하는 사람들은 데이터를 본인의 일을 돕는 단순하면서도 보기 좋은 '수단'이라고만 생각한다.

##데이터가 힘을 가질 수 있는 이유는 데이터가 가지는 특유의 '중립성'때문이다. 데이터는 어느 한곳에 치우치지 않은 채 그 자체가 하나의 요소로서 존재한다. 모든 의사 결정에 근거가 될 수는 있지만, 무언가의 근거가 되기 위해 존재하는 것은 아니다.~하지만 데이터가 저절로 중립성을 갖추지는 않는다. 세상에 절대적으로 중립적인 것이 있을까?~우리가 좋아하는 '절대적 중립성'이란 존재하지 않는다.

##실생활에서 일어나는 다양한 일에 대해 차원을 극도로 줄여서 기록하는 데이터를 정말 가치 중립적이라고 말할 수 있을까? 데이터는 기록하는 그 시점부터 이미 정의와 주관이 개입하고 차원의 축소 과정에서 많은 의미가 소실된다. 데이터를 사용할 때에도 가정과 정의가 더 추가되면 데이터는 각종 제약 안에서 몇 개의 숫자로 요약되어 비교된다. 이렇게 만들어진 숫자 아래에는 수많은 제약 사항이 켜켜이 쌓여 있다. 그래서 같은 데이터라도 제약 사항이 어떻게 만들어졌는지에 따라 데이터의 해석과 결과가 여러모로 휘청거리며 마치 피사의 사탑 마냥 한쪽으로 기울어지기도 한다.~특정 입장에서 지표가 만들어지고 데이터가 '본인이 생각하는 대로 만들어질 때까지'이런저런 데이터를 뒤지고 데이터를 의심한다.~그 데이터는 본인의 입맛에 맞아야 한다. ~이미 데이터를 풀어가는 관점이 자신이 보는 방향이어야 한다고 생각하는 것에서부터 데이터의 중립성을 잃고 있지는 않을까?

#한두 명이 데이터 문해력이 높다고 해도 전체 구성원의 데이터 문해력이 그만큼 높지 않다면, 문해력은 낮은 쪽에 맞춰지기 마련이다.~심지어 데이터 과학의 역사는 대부분 짧고 보통 데이터 과학자는 연차가 낮아, 상대적으로 긴 역사를 가진 현업부서 리더 및 사람들의 힘에 밀려 데이터 분석의 중립성을 지키지 못하고 현업 팀에게 여러모로 압도되기 일쑤다.

##빅데이터 시대의 비즈니스 데이터 분석은 전처리가 7할이 아니라 8할, 9할이다. 데이터 전처리에 수반된 커뮤니케이션 등을 고려하면 어쩌면 더 큰 부분을 차지할지도 모른다.~많은 사람들이 '빅데이터'의 시대가 와서 마치 세상의 많은 문제가 곧바로 해결될 것처럼 이야기 했다.~하지만 최근 몇 년 동안 데이터의 양이 급격히 많아진 것과는 대조적으로 데이터의 품질은 전혀 나아지지 않았다. 오히려 더 나빠지기까지 했다.

##멀리 내다보지 않고 급하게 만든 데이터에는 설계도가 없으며 그때그때 필요한 내용을 끼워 넣다 보니 연속성이 없으며 다른 데이터와의 연결고리도 없는 경우가 부지기수다. 서비스에 기능이 추가되거나 변경이 될 때마다 데이터의 형태는 달라지고 여기저기서 결측치가 생기거나 잘못된 값을 입력하기 일쑤다.~심한 경우, 자산이 되지 못하고 일회성으로 소모되는 데이터는 또 얼마나 많은가.~데이터 과학자는 그 데이터 광산에서 어떻게든 인사이트라는 보석, 최소한 광물이라도 찾아낸다. 그리고 그 데이터를 어떻게 얼기설기 연결하고 정리한다. 시간이 허락한다면 장기적으로 다듬을 것이요, 그렇지 않은 경우에는 일단 사용할 데이터만 적당히 추려볼 터다. 사실 대부분의 경우 장기적으로 다듬을 여유가 주어지지 않는다. 다듬을 수 있는 여유가 주어진다고 하더라도 어차피 문제는 계속 쌓일 것이다.~모두가 데이터 전처리의 중요성과 데이터 품질에 대한 이해를 같이한다면, 분명 이 기술의 속도도 점차 빨라질 것이다.

##간단히 쓸 수 있겠다고 생각해서 가져온 집계 데이터의 기준이 내가 가정한 기준과 다를 수 있다. 이상치라고 생각한 데이터가 알고 보니 명절이라는 변수가 작용한 결과일 수도 있다. 혹은 데이터 기록 장애로 특정 시간에 데이터가 두 번씩 중복되어 기록되었을 수도 있다. 숫자 데이터 집계 과정에서 숫자가 아니라 문자로 기록된 데이터가 계산에서 오류를 일으켰을 수도 있다. 데이터의 문제 상황은 무한하고 다양하기 때문에, 이에 더해서 더 늘어 놓자면 끝도 없다.

##보통 데이터 분석이라고 하면 데이터에 답이 다 달려 있을 것 같지만 실상은 그렇지 않다. '데이터는 석유다.'라고 하며 우르르 달려들던 사람은 산처럼 쌓여 있지만 실제로는 생각보다 많은 것을 할 수 없는 빅데이터를 보며 한숨짓는다.~새로운 자원이라며 열광하던 데이터도 결국 '자원'이라 '가공'이 필요하다. 보통 그 가공이라고 하면 '데이터 클렌징'을 떠올리지만, 데이터에 답을 채워 넣는 작업인 '메타 데이터 만들기', 조금 더 익숙한 용어로는 '데이터 라벨링'이라고 부르는 작업은 역시 굉장히 중요한 데이터 가공 작업 중 하나이다. 데이터 라벨링은 많은 경우 수작업으로 이루어진다.

##결국 데이터는 사람의 의도에 의해 남겨지고 거기에 사람이 답까지 단다면 데이터에 가치가 개입되지 않을 수 없다. 특히 '데이터 라벨링'에는 사람의 '가치 판단'이 직접적으로 반영된다.~AI역시 주변 환경의 영향에서 절대적으로 안전하지 않다. AI가 다양한 선택지를 만드는 과정에도 인간이 만들어 넣은 데이터가 지속적으로 영향을 미치기 때문이다. 그만큼 AI에 답을 넣어 주는 사람이 얼마나 제대로 된 가치관을 가지고 있는지가 중요하다.

##그렇게 만들어진 인공지능은 성능은 탁월할지 몰라도 결국 인간의 지도대로 학습한다. 많은 사람이 이기주의를 학습해 AI가 인류를 파멸시키면 어떡할까 걱정하지만, 사실 그 근원은 인간에게 있는 것이다. 요즘 데이터 윤리나 로봇법과 같은 다양한 키워드가 등장하지만, 그 전에 갖추어져야 하는 것은 인간의 윤리다.

##지표를 어떻게 설정하고 척도를 어떻게 매기느냐에 따라 동일한 상태도 다르게 평가할 수 있기 때문이다. 지표란 결국 경영자의 시야, 의사 결정권자가 바라보는 방향이라고 볼 수 있다. 이런 지표는 어떤 상태를 100% 드러내 주지 않는다. 간단한 사례로 학생 50명인 어느 학급의 수학 성적이 '평균 50점'임을 안다고 해도 이 학급의 모든 학생의 점수를 다 알 수도 없고 수학을 특별히 잘하는 학생들이 얼마나 있는지도 알 수 없다. ~다양한 데이터를 다각적으로 봐야 하는 회사나 사회는 오죽할까?~예를 들어, 같은 기온이라도 바람이 불거나 비가 온다면 체감상 더 춥게 느껴질 수도 있다. 서비스에서 이벤트가 진행되면 접속자가 갑자기 늘어 평균 접속자 수를 높일 수도 있다.

##이렇게 꼼꼼히 살펴보기에는 챙겨야 할 것이 많고 시간이 오래 걸린다. 그 와중에 세상은 점점 빠르게 변하면서 해야 할 의사 결정은 늘어나고 옷을 생각하는 데 소요할 수 있는 시간은 짧아진다. 그러다 보니 많은 것을 고려할 수는 없고 완벽하지는 않아도 상황을 꽤 잘 '요약'해 줄 수 있는 '숫자'에 점점 더 매달리게 된다.~사람들은 보다 '다양한 상황'을 '함축적'이며 '정확하게'반영할 수 있는 '지표'에 대해 갈망하고 요구한다.~하지만 좋은 지표는 나침반과 같아 현재의 서비스 상태를 객관적으로 이해하도록 도와준다. ~'지표를 정확하게 세운다는 것'은 말은 참 쉽지만 간단하지 않다.~우선 그 지표로 얻고자 하는 것이 무엇인지를 분명히 해야 한다. 인간의 욕심은 끝이 없고 단순히 하나만을 원하는 경우는 거의 없다.~따라서 우선순위와 목푯값, 가치 추구에 필요한 기간 및 인적 자원 등을 적절히 조율하는 것이 필요하다.~지표는 데이터와 상황을 극단적으로 압축한 숫자이므로 이 숫자에는 많은 가정과 제약사항이 녹아 있다.~지표는 어디에나 있다. 하지만 그중에서 꾸준히 사용되는 지표는 얼마되지 않는다는 것이 비극이다.

##대부분의 경우 데이터와 함께 하는 일은 '문제를 푸는 것'이다. 그리고 우리는 모든 일에서 항상 문제를 풀어왔다. 다만, 이것을 조금 더 객관적이고 명시적으로 할 뿐이다. 그리고 이렇게 하면 그 답은 보다 뚜렷해지고 덜 위험해질 수 있다. 그리고 그 과정도 조금 낯설 뿐 어렵지 않다.~마크 트웨인은 본인의 자서전에서 "세상에는 세 가지 종류의 거짓말이 있다. 거짓말과 새빨간 거짓말, 그리고 통계"라고 말했다.~어떤 정의와 용어를 사용한다고 해서 다른 사람도 똑같은 기준으로 해당 정의와 용어를 바라볼 것이라고 생각해선 안 된다. 사람들의 생각은 다양하고 상식은 적은 범위에서 공유된다.

##많은 사람이 '가설'을 단순히 자신의 머릿속에 있는 '생각'과 착각한다.~물론 상세한 가설을 세우고 실험을 하는 것은 참 중요하고 좋은 접근이기도 하다. 하지만 '가설'과 개인의 '추측'또는 '확신'을 구분하지 못한다면 이런 가설은 세우지 않는 것이 낫다. '가설'을 빙자한 자신의 '추측'에 대한 답을 만들려고 하는 것은 '데이터 분석'이라는 탈을 쓴 '데이터 고문'일 뿐이다. 차라리 '일단 잘 모르겠으니 A의 상태를 확인하자. 그 이후에 B를 정해야겠어'라는 방식이 훨씬 더 논리적이면서 데이터에 기반한 접근에 가깝다.

##급한 상황에서 제대로 이해하지도 못하고 어떻게 구해지는지도 모르는 데이터를 가져다가 결과만 보려고 하고 그나마도 자신의 입맛에 맞아야 하는 사람들이 판을 치고 있다.

##추천의 범위는 굉장히 넓다.~넷플릭스가 생각하는 추천은 다르다. 넷플릭스의 경우 메인 화면의 모든 내용을 '추천'으로 보고 있기 때문이다. (실제로 나머지 20%는 검색에서 나온다고 명시하였다.)~이 사실을 알면 몇몇 사람들은 다들 당황하고 그것은 '자신이 생각한 추천이 아니'라고 말한다. 하지만 그것은 추천의 의미를 '각각의 사람들이 원하는 무언가를 알아서 보여주는 최신 기술'이라고 마음대로 생각해서 일어나는 불일치다.~추천이란 말에는 '개인화', '자동',' 정교한', '최신 기술'이라는 말이 생략되어 있다. 대부분이 생각하는 추천은 '각각의 사람'에게 '꼭 들어맞는'것을 '기계 학습 알고리즘'을 통해서 제시하는 것이다. 사용자들이 당연히 이 기능을 좋아할 것이라고 생각하고 이런 추천 기능은 사용자가 '원하는 것','좋아하는 것'을 딱 맞게 추천해 줄 것이라고 생각한다.~하지만 이를 가지고 사용자가 좋아하는 것을 알 수 있을까? 불가능하다.~어떤 행동의 의도는 여러 개일 수 있다. ~우리는 데이터를 통해 사용자가 좋아하는 것을 정확히 알 수 없다. 좋아하는 것을 추천해 줄 수 없다. 그리고 이 기능을 사용자가 좋아할지도 알 수 없다.~그런데 개인화 자동 추천이라는 환상에 빠지면 현실과 이성을 잠시 내려놓는 듯하다. 사용자들이 개인화 자동 추천이라면 무조건 좋아할 것이라고 생각한다. 하지만 과연 그럴까.

##메타 데이터는 사람들이 갖고 있는 지식을 기계에 입력하는 방식으로 생성된다. 우리는 영화를 보고 이 영화의 감독이 누구인지, 장르는 무엇인지, 배우가 누구인지 쉽게 알 수 있지만 컴퓨터는 이를 자동으로 알지 못하기 때문에 사람이 일일이 입력해야 한다. 그래서 가장 축적하기 어려운 데이터 중의 하나이기도 하며 인력이 많이 소모되고 사람들이 기피하는 일이기도 하다. 메타 데이터를 자동으로 만들어 내기 위한 연구가 이루어지고는 있으나 어느 정도는 사람의 손을 탈 수밖에 없다.

##개인화 자동 추천이라는 것은 말은 참 쉽지만, 가능한 것 같으면서도 아직 환상의 영역에 속해 있는 기능이고 많은 사람에게 도전 의식을 불러일으키는 기능이다.~무조건적으로 개인화 추천 서비스를 넣겠다고 외치기보다 현재 상황에서 개인화 추천 기능을 추가하는 것이 과연 서비스를 더 좋게 만드는 일인지 좀 더 심도 있게 고민해야 한다.

##개인정보란~기본 개인 식별 정보 및 이와 관련해서 개인의 다른 상태를 알 수 있는 정보로 기본 인적 사항(주소, 전화번호 등), 사회적 정보 (전과 기록, 과태료 납부 기록 등), 경제적 정보(소득, 신용카드 번호 등), 신체적 정보(유전자 정보, 키, 지문 등), 교육 정보(학력, 성적 등), 보건/의료 정보 (진료 기록, 장애 등급 등), 내면적 정보 (구매 기록, 검색 기록 등), 기타 정보 (IP주소, 위치 정보 등)등이 있다. 이 중에서도 특히 유의해야 할 정보로는 '고유 식별 정보'와 '민감정보'가 있다.

##'민감정보'는 사람들이 가장 흥미로워하면서 두려워하는 정보로 개인 정보 보호법에서는 사상,신념,노동조합,정당의 가입,탈퇴, 정치적 견해,건강, 성생활 등에 관한 정보 및 유전자 검사 등의 결과로 얻어진 유전정보나 '형의 실효 등에 관한 법률'제 2조 제5호에 따른 범죄경력자료에 해당하는 정보 등을 민감정보로 정의하고 있다.~정보 주체로부터 동의를 얻은 경우에 한해서만 사용할 수 있다.

##데이터의 부정확성 혹은 편향성으로 인해 데이터를 사용하는 기능의 결과가 윤리적으로 올바르지 않은 결과를 낼 수도 있다. 한 예로, 2018년 구글 포토가 흑인을 '고릴라'로 자동 분류하는 문제가 발생한 적이 있다. 아마도 이는 잘못된 데이터 라벨링, 편향된 데이터, 혹은 모델의 낮은 정확도로 인해 발생한 문제일 것이며 일부러 의도해서 만든 설계는 아닐 것이다.

##교수 조셉 터로우는 ~"프로파일로 사람을 구분해 버리면, 개인의 프로파일은 그 개인에 대한 점수가 되어 버린다"고 했다. 이렇게 점수화된 프로파일은 '데이터', '알고리즘'이란 이름을 달고 마치 신이 내려 준 절대적인 사실인 양 여기저기서 무게를 가지고 사용된다. 그래서 프로파일을 사용할 때는 조심해야 한다.

##데이터는 과거의 기록이다. 데이터는 현재 변경되어야 하는 것들을 담고 있지 못한다.~법원에서 부당하다고 생각되는 판결을 내릴 때면 '얼른 AI 판사가 나와야 해'하며 이야기하지만, 실제로 AI는 기존 판사들이 내린 판결 데이터를 기반으로 학습하기 때문에 보정을 거치지 않는다면 똑같이 부당한 판결을 내고 이를 규칙화해서 더욱 견고히 할 서이다. 이 규칙에 맞게 나온 결과가 모델에 또 반영되면, 현상이 더 굳어질 것이다.

##많은 사람이 인공지능이라고 하면 어떤 모델이 자동으로 돌아가고 성능이 계속 향상되는 말을 하고 물리적으로 작동하는 고도화된 로봇 같은 것을 떠올린다. SF 영화 ＜2001 스페이스 오디세이＞의 'HAL'이나 ＜A.I＞와 ＜프로메테우스＞의 '데이비드'같은 로봇의 모습이 우리의 상상 수준을 너무 높여 놓았다. 이 정도는 아니더라도 인공지능을 기존의 컴퓨터 프로그램과 굉장히 차원이 다른 모습으로 생각하는 것 같다.~인공지능에 개념적으로 접근하는 방법은 크게 계산주의와 연결주의 두 가지 관점이 있다.~여기서 사용되는 알고리즘은 우리에게 머신러닝이나 데이터 마이닝 같은 이름으로 이미 친숙한 분류나 회귀, 추론 등에 사용되는 확률 기반 알고리즘과 크게 다르지 않다.~반면에 연결주의는~뇌의 신경망을 모방하는 것이다. 그중 가장 성공한 알고리즘은 인공신경망 알고리즘으로 뇌의 뉴런을 흉내 낸 모듈을 조합함으로써 인간의 두뇌 활동을 모방하려는 시도였다. ~딥러닝은 이미지 같은 데이터를 수치화하거나 이미 수치화된 데이터를 사용하여 이 안에서 흔히 '패턴'이라고 하는 특징을 찾아내어 일종의 분류 판단을 하는 머신러닝 알고리즘이다.

##머신 러닝은 말 그대로 기계에 입력 데이터를 떠먹여 주고 이를 기반으로 결과에서 예측값을 낸 후 결과 데이터와 맞춰 보면서 알고리즘으로 구성한 모델의 예측 적중률을 높이는 일이다. 그리고 그 과정에서 추가로 알고리즘 자체에서 모델의 적중률을 평가하는 연산을 통해 성능을 높인다.

##이때 인공 신경망의 성능을 좌우하는 것이 이 가중치다. 처음에는 임의의 값으로 가중치를 정하므로 웬만큼 운이 좋지 않고는 처음에는 결과가 부정확한 경우가 많다. 그러면 결과가 '부정확하다'또는 '어느 정도 정확하다'라는 판단을 토대로 더 나은 결과를 위해 가중치를 재조정하는 과정을 거친다. 이런 과정을 통해 점차 결과의 정확도를 높이는 것이 머신러닝, 즉 기계가 하는 '학습'인 것이다.

##기본적인 인공지능 알고리즘 프레임워크를 어느 정도 갖춘 상태에서 성능 개선을 통해 더 효과적으로 사용하기 위해서는 통계의 역할이 보다 중요해질 것이다.~기본적으로 '데이터가 중시되는 방향으로의' 변화에서는 통계의 역할이 작아지고 싶어도 작아질 수 없다. 물론 개념상 인공지능은 생물학, 철학, 심리학, 신경과학 등과 얽혀 이지만, 기본적인 뿌리는 전산학,확률, 통계 이론에 두고 있다. 따라서 통계는 인공지능 분야 내외적으로 더욱 많은 활약을 할 것이다.

##바둑 데이터는 완전히 정형이고 규칙이 완벽하게 구성된 (바둑판의 크기, 돌의 종류와 수, 승패)데이터로 전처리가 거의 필요없는 형태다. 하지만 다양한 데이터를 정형화된 형태로 만들려면 데이터의 규칙과 적재 형태 결정부터 시작해서 무수한 전처리가 필요하다.

##배움이란 '낯선 것에서 익숙함을 찾고', '익숙함에서 낯섦을 찾는 것'이라는 말에 공감한다.~'낯설었던'이유와 배경을 잊어버리고 익숙함에만 만족하고 익숙함에서 낯섦을 더 이상 찾지 않는다면 과연 괜찮을까. 이렇게 배워 더 넓은 분야에서 사용하는 것이 과연 옳을까. 나는 이런 식의 배움은 일종의 다크 사이드라고 생각한다. 스타워즈에서 다크 사이드를 가리켜 빠르고 쉽게 유혹적인 것이라고 했고 우리도 그 말을 다시금 되새길 필요가 있다. 다크 사이드가 결국 어떻게 되는지를 우리는 이미 보아 왔고, 특히 머신러닝처럼 파급력이 점점 커지고 불확실성도 커지기만 하는 분야에서는 그 결과가 더욱 크게 다가올 것이다.

##인류 역사를 망라하고 '죽음'과 '예언'처럼 인기가 좋은 콘텐츠도 없다.~물론 여전히 전 세계의 정,재계에서 예전자의 말을 믿는다는 소문이 돌고 새해가 다가오면 무료 토정비결 링크가 SNS에서 수없이 공유되고 돼지꿈을 꾸면 복권을 사면서도 보통은 농담이나 미신 같은 비이성적 행동이라고 선을 긋는다. 반대로 사주나 관상은 통계라는 등 근거 없는 말을 붙여서라도 이성의 영역으로 끌어오려고 노력하기도 한다.~그럼에도 '예측'에 대한 욕망은 더 커지면 커졌지 줄어들지는 않았다. 심지어 시간이 흐르면서 불확실성은 더욱 커져만 갔고 그럴수록 인간은 더욱 '확실한 예측'을 갈망하게 되었다.

##니콜라스 탈레브는~검은 백조의 개념을 이야기하면서 '우리가 검은 백조를 이해하지 못하는 유일한 이유는 과거의 관찰을 미래를 결정짓는 것 혹은 미래를 표상하는 것으로 오해하기 때문이다'라고 말한다. 여기서 '검은 백조'가 상징하는 '극단의 왕국'은 불확실성이 지배하는 곳으로 비일상적이고 예상할 수 없는 사건이 느닷없이 발생해 많은 것이 바뀌어 버린다. 그리고 현대 사회는 점점 그런 극단의 왕국화가 되어 가고 있다고 말한다.~데이터가 많을수록 잡음도 많아지고 세상의 발전 속도가 빠를수록 과거의 흐름만으로 추정할 수 없는 불확실성도 커진다.

##예전부터 해오던 연구도 요즘에는 '빅데이터'나 '인공지능'이름을 달고 나온다. '빅데이터'는 처음부터 마케팅 용어로 활용되어 왔지만 '인공지능'은 이제 조금씩 마케팅 용어로 활용되어가는 모양이다. 게다가 이야기에 거품까지 추가되니, 기자들의 어려움도 이만저만이 아닐 것이다.~특히 이렇게 공포심을 자극하거나 눈에 확 띄는 기사일수록 이해하기 쉽고 자극적이어서 사람들에게 더 널리 빠르게 퍼진다는 연구 결과도 있다.~그 내용이 너무 공포심을 자극한다면 어느 정도 허구를 섞었을 가능성이 크다. 일단 대부분의 인공지능은 아직 사람이 컨트롤할 수 있는 수준이다. 그리고 인공지능을 만들고 퍼뜨리는 것 역시 사람이다.~많은 사람이 빅데이터와 인공지능에 지나친 불안감을 보인다.~기사화되는 연구 결과의 대부분은 결과 중에서도 가장 잘 구현이 되었거나 눈에 띄는 부분이라는 것을 알아야 한다. 연구 내용이 실제로 상용화된 것인지, 추가로 연구가 더 이루어져야 하는지, 연구 결과를 이해할 때 고려 사항은 무엇이 있는지 등 보통 기사 중간에 스치듯이 지나가기 마련이고 그나마도 없는 것이 부지기수다.

##과거에는 정보를 확보하는 능력이 중요했다면, 이제는 많은 정보에서 지식을 잘 걸러내는 능력이 중요하다. 이런 기사에 대해 비판적인 사고력을 기르면 아무 말을 늘어놓는 기사의 영향력에서부터 해방되는 것이다.

##'좀비통계'라는 말이 있다. 이것은 어디선가 어떤 수치가 나왔다고 전해지는 이야기가 끝없이 이어지면서 마치 '사실'인 것처럼 굳어져 여기저기 인용되는 현상이다.~고정관념을 더욱 견고하게 만드는 데 큰 역할을 한다.~"아인슈타인의 말에 따르면 사람은 평생 두뇌의 10%만 사용한다고 한다"라는 말처럼 증명되지 않은 숫자와 출처의 무게로 지금까지 도시 전설로 남아 있는 이야기들은 정말 많지 않은가. 이렇게 인용되는 숫자가 통계 수치라면, 그것은 '좀비 통계'가 된다.

##만사에 피곤한 현대인은 많은 것을 기억하거나 복잡한 것을 읽기를 원하지 않는다. 간단하면서도 오래오래 통용되는 진리를 찾고 140자 이내로 모든 게 설명되는 사이다 문장만을 읽는다. 요약된 내용이 마음에 안 드는 보고서는 대충 읽고 넘겨 버린다.~하지만 보통은 제목만 보고 최신 데이터로 정리된 정보보다는 머릿속에 강하게 꽂히는 좀비 통계와 직관만 남겨 둔다.

##데이터를 만들고 활용하는 사람은 더욱 다수와 고정관념에 치우지지 않도록 주의해야 한다. 혹여 그런 데이터가 손에 들어와도 가능한 한 데이터의 상태를 면밀히 파악하고 중립적으로 사용하려고 노력해야 한다.~교묘하게 사람들의 입맛에 맞게 만들어진 이야기가 수치를 조금만 자세히 보고 문장을 비틀면 완전히 다른 이야기였다는 것을 알게 될지도 모른다. 어쩔 수 없이 기존의 사고와 안 맞는 통계 결과를 가끔 문장을 묘하게 왜곡해서 사람들의 눈에 잘 띄는 형태로 바꿔 버리는 경우도 은근히 산재해 있기 때문이다. ~좀비 통계는 다수 편향적 의사 결정만을 낳을 뿐이다. 물론 다수 편향에 기대어 사는 게 편한 사람들은 입맛에 맞는 좀비 통계에 익숙해져 죽은 지식으로 가득 찬 지적 허영에 빠진 채 살아도 아무런 문제를 느끼지 못할 것이다.

##데이터 과학 업계는 매우 어수선하다. 업이 제대로 자리잡기 전에 정작 손끝에 데이터도 묻혀 보지 않은 수많은 빅마우스가 데이터를 입에 담기 바빴다. 데이터에 대한 이해는커녕 데이터 존재 여부도 모르면서 팀을 꾸리고 데이터 기반으로 일한다고 말하는 곳이 여기저기 생겨났다.~정작 그 내부는 사상누각이고 전반적인 이해와 기반을 다지는 번거로움 없이는 아무것도 만들어지지 않는다는 지루한 이야기는 그 누구도 말해 주지 않았다.~그래서 긴 호흡을 갖고 구조적으로 해결하려는 자세가 필요하다.~데이터는 혼자 존재할 수 없다. 데이터는 어떤 파트가 아니다.~결국 서비스와 사람에 붙어 있는 것이 데이터다.

기술도서로 유명한 비제이퍼블릭에서 출간된 책이라서, 단순히 데이터과학 내지는 데이터분석에 대한 기술도서인 줄 알았는데, 내용을 읽어보니 데이터과학자가 쓴 에세이 같은 책이네요.

데이터 과학자인 저자가 오랜 현장 경험을 바탕으로 업무 현장의 현실과 느낌을 전달해주고 있습니다. 현업 사례를 통해 데이터 과학자의 현장 업무에 대한 내용을 간접적이나마 경험해 볼 수 있었고, 저자가 느끼고 경험한 내용을 솔직하게 담아내고 있어서, 이야기가 진솔하게 느껴집니다.

매일 딱딱한 기술서적들만 보다가, 머리도 식힐 겸 가볍게 읽어보고 생각해보기에 좋은 책인 것 같습니다. 특히, 데이터 분석/데이터 과학 분야에 뜻을 가지고 있는 학생이나 취준생들이 진로를 결정하는 데에도 도움이 될 것 같습니다.

또한, SQL, 데이터지표, 추천, A/B 테스트에 대한 실무 이야기는 데이터 과학에 관심있는 현업 개발자들에게도 도움이 될 것 같습니다.

＜YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다＞

 이 책도 결국 리스트에 올리게 되었습니다. 생각 해보면 정말 오랜만에 리뷰를 쓰게 되었네요. 올해 들어서 정상적으로 쓰는 첫 리뷰이기도 합니다. 솔직히 그 동안 좀 고민의 시간이 있었고, 구작들을 주로 읽는 시간을 가져서 말이죠.

 어쨌거나 리뷰 시작합니다.

 데이터 과학에 관해서 최근에는 사람들이 소위 말 하는 ‘뜨는 학문“ 이라는 말을 하곤 합니다. 정보가 정말 많아지는 상황이고, 정보를 어떻게 가공하는가, 그리고 그 가공의 목적이 무엇인가, 그리고 어떻게 하면 분석이 더 빨라지게 할 수 있는가 하는 모든 것들이 서로 뒤엉켜서 움직이는 학문이라고 할 수 있습니다. 사실 크게 보면 수학의 일부이긴 합니다만, 단순 수학이라고 하기에는 이제는 워낙에 기술적인 면이 동시에 결합 되어서 움직이는 부분들이 있으니 단순한 수학에 관련된 학문이라고 말 할 수도 없죠.

 아무튼간에, 뜨는 학문은 필연적으로 무엇을 하는 사람들인가 하는 질문이 따라붙게 됩니다. 앞서 설명한 것들에 관한 부분 외에도 정말 무엇을 하는가 하는 지점을 들여다 봐야 하는 상황에서는 데이터 과학자들이 무슨 일을 하는가에 관해서 알아야 하기 때문입니다. 이 책은 바로 그 지점을 다루는 책이라 할 수 있습니다. 정말 단순한 질문이자 근본적인 질문이죠 ”데이터 과학자들은 무슨 일을 하고, 어떤 목표를 가져가는가“라는 것 말입니다.

 간단한 이야기는 아닙니다. 데이터의 종류는 다양합니다. 최근에 말 하는 빅데이터 라는 말도 있고, 소위 말 하는 표본이라는 것도 있는 상황이니 말이죠. 이 모든 것들을 어떤 상황에서 어떻게 다루는가가 정말 중요하다고 할 수 있는 상황이 점점 더 늘어나고 있기 때문에 데이터 과학자라는 것에 관하여 사람들이 호기심을 가지게 되는 겁니다. 그리고 이런 이야기에 관해서는 현재 데이터 과학자가 말 하는 것을 들여다 보는 것이 가장 좋은 방법이라 할 수 있죠.

 여기에서 단순하면서도 근본적인, 하지만 유치한 질문이 하나 따라붙게 됩니다. 아무래도 과학이라는 단어가 붙었으니, 결국에는 굉장히 어려운 일을 하는 것 아닌가 하는 것 말입니다. 어려운 일을 하기 때문에 그 설명 역시 상당히 어려울 거라는 걱정이 따라 붙을 수 있는 것이죠. 현대 과학으로 오면 올수록 점점 더 복잡한 용어들이 많이 등장하고 있다는 점을 생각 해볼 때 그다지 어리석은 질문이 아니기도 합니다. 이걸 일반인이 들여다보기에는 너무 멀리 가버린 것이 아닌가 하는 걱정을 하게 만드는 것이죠.

 이 책은 위에 이야기 한 질문에 대한 답을 최대한 쉽게 해주려고 합니다. 기본적으로 데이ㅓ 과학자가 무슨 일을 하는가에 관해서, 특히나 빅데이터 라는 말이 없던 시절에도 활동했던 학자들의 이야기를 하면서 데이터 과학자들이 정말 무슨 일을 하는지에 관한 이야기를 하고 있습니다. 말 그대로 데이터 과학자들이 무엇을 하고 있는지, 그리고 이에 관한 엔지리너링이 어떻게 발전 하는가에 관해서 이야기를 하고 있습니다.

 약간 재미있게도, 이는 데이터 과학자라는 사람들의 직업 윤리라는 지점과도 연관 되는 부분들을 보여주고 있습니다. 결국에는 일을 하는 사람들이기에, 이 사람들이 정말 어떤 생각을 가지고 살아가는지, 그리고 그 과정을 통해서 무슨 일들을 어떻게 받아들이고 가고 있는지에 관해서 모두 이야기를 하게 되는 것이죠. 과학자의 직업 윤리라는 굉장히 묘한 개념에서도 데이터를 다루는 사람들의 윤리에 관한 지점을 어느 정도 들여다 볼 수 있게 하는 겁니다.

 여기에서 또 한 가지 재미있게 다가오는 것은 과학자라는 것에 관해서 단순히 학문의 탐구자가 아닌, 직업으로서의 면모를 이야기 하는 지점들 역시 있다는 겁니다. 이 책에서는 해당 지점에 관해서 어떤 지점을 어떻게 들여다봐야 하는가에 관하여 많은 이야기를 하고 있기도 합니다. 그리고 이 속에서 데이터 과학자들이 정말 무슨 일들을 하는가에 관한 지점들 역시 다시금 들여다보게 하는 지점들이 생기게 됩니다. 그리고 여기에서 단순하게 분석하는 것이 아니라, 데이터를 어떻게 분석할 수 있는 것으로 가공하는가를 이야기 하고 있기도 합니다.

 여기에서 다시 한 번 재미있는 단어가 나오게 됩니다. 전처리 라는 말이죠. 말 그대로 데이터가 데이터를 분석 하기 전에 처리 할 수 있게끔 작업하는 단계를 말 합니다. 이 단계에서 과학자들이 정말 무엇을 하게 되는지에 관해서 이야기를 하고 있는 겁니다. 그리고 이를 통해서 정말 왜 과학으로 넘어가는지에 대한 의미심장한 이야기 역시 많이 전달 하고 있기도 합니다. 그러면서도 상당히 복잡할 수 있는 이야기를 그다지 복잡하지 않게 전달하는 힘을 보여주고 있기도 합니다.

 약간 재미있게도, 이런 상황에서 단순히 분석이라는 것이 과학의 영역에 머무르지 않는다는 것도 같이 이댜기를 하게 됩니다. 결국 우리가 아는 것에 대하여 숫자로 수치화 하고, 이에 관해서 분석을 하면서, 결국 어떻게 나아갈 것인가 하는 이야기로 이어지게 되는 것이죠. 결국에는 이에 관해서 실제로 왜 회사들이 데이터 분석에 과학자를 동원하고, 이를 전문으로 하는 엔지니어와 과학자들이 생기는지에 관해서 일부나마라도 알 수 있게 해주는 지점이 생기는 겁니다.

1.  그리고 이런 과정에서 단순히 과학자로서의 윤리 뿐만이 아니라, 정말 어떤 지점을 들여다 봐야 하는지에 대한 조언 역시 같이 들어가게 됩니다. 윤리의 흐름이 아니라, 정말 데이터라는 것을 어떻게 들여다봐야 정말 쓸모가 있는 것이 되는지에 관하여 과학자로서의 조언을 해주고 있는 것이죠. 그리고 이를 통해 좀 더 독자들에게 지식이 되는 지점들을 보여주려고 노력하고 있기도 합니다. 말 그대로 정말 일선에 있는 사람들이 하는 이야기라고 할 수 있죠.

 상당히 흥미로운 책입니다 특정한 과학 분야에 관해서 그 전문가가 이야기 하는, 그리고 그 분야에 들어가는 기술에 관해서 이야기를 하는 책이라고 할 수 있습니다. 그 뿐만이 아니라 과학자 자체가 어떤 사람이며, 어떤 마음가짐으로 일을 해야 하는가에 대한 직업 윤리 방침이라고도 할 수 있습니다. 상당히 독특한 면들을 가져가는 책이라고 할 수 있는 동시에, 일반인이라도 데이터 관련 지점이 조금이라도 연관이 된다면 한 번쯤 일부러 들여다 봐야 할 책이라 할 수 있겠습니다.

YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다