|
일을 하다보면 데이터를 산출해서 보고서를 작성하고 일을 시작하는대 처음부터 데이터를 잘못뽑거나 정확하게 정하지 못해서 조금고생 할일을 더 어렵게 했던적이 있었습니다. 그때문에 데이터를 뽑고도 이것이 정확한지 내가 목표로 하는 데이터를 정확이 뽑았는지 의심이 들때가 종종있는대 같은 고민을 한사람은 저하나만 있었던건 아니였던거 같네요 제가 생각 했떤 부분도 있고 일을 한다면 적용 해보고 싶은 부분도 있었습니다. 업무상에서 모두 적용해보기는 힘들겠지만 db 만지는 일이 종종 있으시다면 보셔도 괜찮을듯 합니다. |
|
여러 데이터 사이언티스트들이 자기가 생각하는 데이터 과학의 팁들을 주제별로 하나씩 써서 엮은 책이다. 아무래도 '이런것은 하지 말아라'하는 식의 팁들이 많아 약간 반어적으로 책의 제목을 지은거 같다. 여느 데이터 과학 책 처럼 A부터 단계 단계 가르쳐 주는 책은 아니고 일종의 데이터 사이언티스트들의 에세이 모음집이라고 생각하면 된다. 누군가 이 책을 읽는다면 데이터 과학을 차근히 배우기 보다는 실제 일하는 사람들의 노하우를 간접 경험 한다는 것에 의의를 두면 딱 맞을 거 같다. 아무래도 이론만으로 알기 힘든 나쁜 버릇이나 나쁜 상황등이 실무에서는 많이 있는데 이런 것에 대해서 각자 에세이를 썼다고 생각하면 정확하다. |
|
- 19인의 데이터 과학자가 알려주는
몇 년전에는 잘 듣지 못했던 이슈였지만, 최근에는 신문이나 뉴스와 같은 매체에서도 어렵지 않게 들을 수 있는 주제입니다. 최근에 뉴스를 통해 접했던 빅데이터에 대한 이슈라면, 서울시내에 새로 생긴 심야버스에 대한 내용입니다. 심야버스에 대한 노선을 효율적으로 설정하고, 운행시간이나 간격을 지정하는데 휴대폰 정보에 기반한 빅데이터를 이용했다는 뉴스였습니다. 그저 아무렇지 않게 우리가 사용했던 데이터들이 모여서 빅데이터를 이루고 이런 데이터를 가지고 우리의 현실에 보이는 어떤 성과를 이루어 냈다는 점에서 빅데이터는 더 이상 미래의 키워드가 아닌 우리의 현실에 우리와 함께 있는 이슈라고 할 수 있습니다. 이 책은 그런 빅데이터를 가지고 무엇인가를 해야할 때, 가장 먼저 만날 수도 있는 문제에 대해서 이야기하고 있습니다. '바로 데이터가 믿을만 한가?'라는 문제입니다. 이 책의 제목은 나쁜 데이터(bad data)를 말하고 있습니다. 당연히 데이터 이니 만큼 윤리적으로 좋고 나쁜 것을 가리자는 것은 아닙니다. 맨 처음 1장에 보면 나쁜 데이터에 대한 정의가 나와있습니다. 즉, 나쁜 데이터란 값이 누락되거나, 기록이 어그러졌거나, 실제 일하는데 방해가 되는 모든 데이터를 말합니다. 즉, 우리가 데이터를 가지고 무엇인가 의미있는 정보를 찾아내려고 할 때, 과연 그 데이터가 나쁜 데이터 인지 아닌지에 대한 최소한의 검증을 우선 해야할 것입니다. 또한, 데이터를 다루는 과정에서 잘못된 방법이나 인식을 가지고 데이터를 처리하면, 제대로 된 '나쁘지 않은' 데이터도 '나쁜'데이터가 될 수 있습니다. 여기서는 이렇게 나쁜 데이터의 다양한 모습을 살펴보게 됩니다. 사실 빅데이터라는 한 마디로 말하지만, 실제 그 내부로 들어가서 자세히 살펴보면 데이터의 형식이나 내용등이 무척 다양하기 때문에, 그 상황이나 현실에 맞도록 나쁜 데이터를 처리하는 방법을 찾아내는 것이 중요합니다. 실제 이 책에는 열아홉가지의 주제가 나와있지만, 개인적인 생각으로는 각 주제별로 책이 여러권씩 나올 수도 있을 만큼, 내용이 다양합니다. 다양한 형태의 나쁜 데이터에 대한 해법을 보여주고 있기 때문입니다.
그러나 데이터를 처리할 때, 접근하는 기본적인 자세와 시각에 대해 한 번더 주의하고 확인해야 한다는 것을 알 수 있었다는 점만으로도 이 책의 가치는 중요하다고 생각합니다. 나쁜 데이터의 다양한 형태를 살펴보기에 좋은 내용이라 생각됩니다. 다만, 가끔 전문적인 내용을 모르면 읽기 어려운 부분이 나오기도 하는데요 자세하게 보다는 큰 흐름을 알기 위한 관점에서 접근해 보면, 이해하는데 큰 어려움을 없을듯 합니다.
|
|
"나쁜 데이터" 라는 제목을 보면, 항상 궁금해지는 것이 어떤 것이 "나쁜 데이터" 일까라는 의문이 들게 한다. 처음에 생각나는 것들은 "분석 하기 힘든 데이터", "데이터 형식이 깨져있는 데이터", 그러나 여기서의 가장 큰 의미는 "데이터를 바라보는 잘못된 시각"인듯 하다.
6장의 내용을 보면 긍정/부정을 찾는 부분이 있다. 단순히 특정 단어들에 의해서 분석을 한다면 이중 부정 이라든지, 또는 반어법이라든지, 또는 사용자의 실수를 파악하기 힘들다.(물론 이 책에서 거기에 대한 탁월한 해법을 제시하지는 않는다. 우리는 이런게 힘들었다. 미리 고민해라 정도?"
또한 점수는 1점만 주면서 내용을 아주 훌륭하게 적을 수도 있고, 반대로 내용은 악평이지만, 높은 별점을 주는 경우도 있다.
또한 콜 센터의 전화의 분포가 푸아송 분포를 따르지 않을 경우를 살펴보니, 결국 "독립적"일것이라고 가정한 것 자체가 잘못되었다는 것, 콜 센터 전화에 불만이 있으면, 계속 연속해서 전화하게 된다는 그런 부분들
결국 데이터가 올바를 것이라고 믿는 "잘못된 시각"이 결국은 나쁜 데이터를 만들어 내는 것이다.
이 책에서는 이런 종류의 내용들을 알려주고 있지만, 다만 해답을 알려주지는 않는다. 때로는 데이터를 바라보라고 하지 않고, 도리어 탐정 처럼, 주변을 살펴보라고 말하고 있다. 공사장의 데이터가 이상하게 나오니, 도리어, 측정 기계에 충돌하는 사람들이 많았다는 이야기등...
좋은 데이터를 만들기 위해서 많은 데이터 클리닝과, 노력이 필요하다는 것을 알려준다. "나쁜 데이터 핸드북" 은 결국 데이터를 바라보는 시각중에 실수하는 부분들을 알려주고 있다.
|
|
"나쁜 데이터"... 이 책 제목을 보는 순간 도대체 무슨 말을 하려는 건지 궁금해서 책을 들어 펼쳐 보았다.
전 세계 트위터 사용자가 하루동안 만들어내는 데이터량이 7 TB(테라바이트)이고, 페이스북 또한 약 10 TB의 엄청난 양의 데이터는 매일 생산해 내고 있다. 여기서 문제는 이렇게 매일 쏟아지는 데이터를 가운데 정말 필요한 정보를 추출해 내는 것이다.
책에서 말하고 있는 "나쁜데이터"는 우리가 어떤 작업을 하면서 데이터를 잘못 처리함으로 원하지 않는 결과를 초래할 수 있는 데이터 들을 말하고 있다. 또한 이러한 데이터를 다루는 사람들을 데이터 과학자(?) 라고 말하고 있다.
여러 분야에서의 데이터 과학자들이 실전 경험을 통해서 어떻게 데이터를 처리해야 하는지에 대해서 소개하는 것이 책의 주된 내용이다. 더블어 많은 부분에서 스크립트 언어(shell, perl, python) 이용해서 데이터를 처리하는 것을 보여준다.
그간 정규식에 대해서 많은 관심은 있으나 제대로 공부해본적이 없는 저에게는 정규식 기초를 다질수 있는 좋은 기회였던거 같다.
책을 읽으면서 한가지 아쉬운점은 자료구조를 다루는 책들처럼 각 챕터에서 말하고 있는 내용을 직접 다뤄 볼수 있는 실전 예제 같은 것들이 있었으면 하는 생각이 든다.
세상에 모든 나쁜 데이터를 좋은 데이터로 바꾸기를 바라면서....
|
|
나쁜 데이터 핸드북... 제목부터 시선을 끌기에 충분했다. 나쁜 데이터란 과연 무엇일까 하는 궁금증도 일게 하는 제목이다. 한마디로 나쁜 데이터는 작업에 어려움을 주는 데이터들이다. 표현이 잘못되었든, 저장소에 문제가 있든, 데이터 정책에 문제가 있든간에 작업하기 어려운 데이터는 나쁜 데이터이다.
처음에 제목을 접했을 때는 오라일리의 헤드퍼스트 데이터 분석과 같은 책으로 생각했었다. 몇 페이지를 읽다보니 헤드퍼스트 시리즈와는 다른 어려움이 많이 느껴졌다. 저자는 19명의 과학자들을 찾아가 다양한 영역에서 일어나는 데이터 문제와 그에 따른 영향을 이야기 듣고 이 책을 만들었다. 이러한 나쁜 데이터들이 여러 영역에서 어떤 식으로 발생하고, 어떤 점이 문제인지를 분석했으며, 이를 어떻게 해결하는지를 다루고 있다. 간간이 Perl, Python과 같은 스크립트 언어를 이용하여 데이터를 처리하는 방법도 소개하고 있다.
분명 내용에는 깊이가 있는 내용이지만, 특수한 분야의 연구자나 개발자가 아닌 일반 개발자들이 보기에는 다소 재미없고 어려운 내용들이다.
하지만, 언젠가 복잡한 데이터를 다루게 되는 작업을 맡게 된다면, 이 책의 내용들이 도움이 되는 날도 분명히 있을 것으로 기대한다. |