품목정보
발행일 | 2021년 10월 13일 |
---|---|
쪽수, 무게, 크기 | 396쪽 | 604g | 148*225*30mm |
ISBN13 | 9791165217099 |
ISBN10 | 1165217090 |
발행일 | 2021년 10월 13일 |
---|---|
쪽수, 무게, 크기 | 396쪽 | 604g | 148*225*30mm |
ISBN13 | 9791165217099 |
ISBN10 | 1165217090 |
1부 다크 데이터는 어떻게 생겨나고 어떤 결과를 초래하는가 1장. 다크 데이터: 보이지 않는 것이 이 세계를 만든다 보이지 않는 위험, 다크 데이터 데이터를 다 갖고 있다고 생각하는군요? 아무 일도 안 생겨서 무시해버릴 때 생기는 일 다크 데이터의 위력 다크 데이터는 언제 어디에나 있다 2장. 다크 데이터 찾아내기: 우리가 모은 것과 모으지 않은 것 데이터를 얻는 3가지 방식과 다크 데이터의 출현 데이터 잔해에서 얻는 다크 데이터 설문조사에서 생기는 다크 데이터 실험 데이터에도 다크 데이터가 끼어든다 인간적 취약점에 주의하시라 3장. 다크 데이터와 정의: 알고자 하는 것이 정확히 무엇인가? 엉뚱한 것을 측정해버렸다: 정의가 달라질 때 ‘모든’ 것을 측정할 수는 없다: 심슨의 역설 질병 검진 프로그램의 취약성 과거 성과를 보고 선택할 때의 다크 데이터 4장. 의도하지 않은 다크 데이터: 말과 행동이 따로 놀 때 어디까지 정확해야 하지? 요약은 필연적으로 다크 데이터를 만든다 인간이니까 생기는 오류 측정 도구의 한계 데이터 세트를 통합할 때의 문제 5장. 전략적 다크 데이터: 게이밍, 피드백, 정보 비대칭 게이밍: 빈틈을 이용해 이득을 얻다 피드백: 피드백이 데이터를 왜곡시킬 때 정보 비대칭: 중고차 시장에서 무슨 일이 일어났나 다크 데이터가 알고리즘에 끼치는 영향 6장. 고의적 다크 데이터: 사기와 기만 사기의 세계: 핵심은 데이터 숨기기다 신원 도용과 인터넷 사기: ‘자칼의 날’ 계속 진화하는 개인금융 사기 금융시장 사기와 내부자 거래 보험 사기: 고객을 속이거나 보험사를 속이거나 그 밖의 사기: 돈세탁, 다단계 사기, 횡령 7장. 다크 데이터와 과학: 발견의 본질 과학의 본질: 검증 체계로서의 과학 내가 그걸 알았더라면!: 과학자들의 흑역사 우연히 만난 다크 데이터: 과학자들의 행운 반복 실험을 통한 재현: 과학 연구의 다크 데이터 사실을 감추는 방법들 철회 출처와 신뢰성: “누가 그러던가요?” 2부 다크 데이터에 빛을 비추고 이용하는 법 8장. 다크 데이터 다루기: 빛을 비추기 희망은 있다 관측 데이터를 빠진 데이터와 연결하기 3가지 데이터 누락 메커니즘 이미 가진 데이터를 활용하는 법 생존분석 문제: 당신이 먼저 죽는다면? 대치법: 빠진 데이터를 채워넣기 반복: 최대가능도 모형과 EM 알고리즘 데이터 오류에 대처하는 방법 9장. 다크 데이터로 이득을 얻는 법: 질문을 바꿔보자 데이터를 숨기는 게 이득이 될 때 무작위 대조군 시험: 데이터를 모두에게 숨겨라 시뮬레이션: 일어났을 수도 있는 일 전략적으로 복제된 데이터 베이즈 사전확률: 가상의 데이터 사생활 보호와 기밀 유지 데이터를 다크 상태로 수집하기 10장. 다크 데이터 분류법: 미로 속으로 난 길 다크 데이터의 15가지 유형 새롭게 조명하기 |
빅데이터의 시대이다. 데이터를 많이 가지면 미래에 대한 예측을 더 잘하게 되고, 그 결과 데이터가 기업 경쟁력, 국가경쟁력의 원천이 되고 있다. 혹자는 데이터(D), 네트워크(N), 인공지능(AI)을 합친 DNA 기술을 4차산업시대의 핵심기술로 부른다. 막 출범한 윤석열 정부가 데이터에 기반을 둔 네트워크 경제를 통해 국가를 발전시키겠다는 공약을 한 것도 이런 점을 감안한 것이다.
하지만 데이터를 다루어야 할 때 조심할 점도 많다. 잘못된 데이터에 기반을 두어 판단을 하게 되면 사실을 왜곡하기 때문이다. 흔히 'Garbage in, Garbage out'이라고도 한다. 데이터를 모으는 과정에 잘못이 있을 수 있다. 또한 각종 유형의 누락된 데이터가 존재한다. 이 책에서는 각종 유형의 누락된 데이터를 '다크 데이터'로 부르며 ‘다크 데이터’의 함정을 피하고 위험을 기회로 만드는 법을 이야기한다.
우리가 살고 있는 우주에는 보이지는 않아도 엄연히 존재하는 '암흑물질'이 27%나 존재한다고 한다. 우리가 다루고 있는 정보의 세계에도 우리가 간과하기 쉬운 ‘다크 데이터’로 가득하다. 저자는 우리가 어떻게 누락된 데이터를 알아차리지 못하는지, 그리고 그로 인해 어떤 잘못된 결론과 행위에 이르게 되는지를 다각도에서 탐사한다. 이와 함께 '다크 데이터'에 빛을 비추고 이를 이용하는 법을 설명한다.
통계학적 지식이나 경제적 분석자료를 다루어 본 경험이 있으면 쉽게 이해할 수 있는 이야기이다. 현실을 보면 자신에게 유리한 자료만을 선별하여 분석해 입맛에 맞는 결론을 유도하기도 한다. 코로나에 관한 각종 통계도 관찰되지 않은 '다크 데이터'를 포함하면 완전히 다른 결론에 이를 수도 있다. '다크 데이터'는 어디에든 생겨나며 모든 곳에 존재하기 때문이다.
저자는 다크 데이터의 가장 큰 위험으로 우리가 그것의 존재를 모를 수 있다는 점을 지적한다. 그러면서 다크 데이터가 언제 어떻게 생겨나며, 어떻게 우리를 잘못된 결론에 이르게 하는지 수많은 사례를 통해 설명한다. 결국 우리가 현재 무엇을 놓치고 있는지를 끊임없이 질문하고 경계한다면 오히려 정확한 현실에 가까이 다가감은 물론 이를 이용할 수 있다는 점을 설명한다. 빅데이터 시대에 우리가 무엇을 걱정하고 대비해야 하는지를 알려주는 책이다.
사실 이 시대는 과학과 데이터를 신앙하는 시대가 아닐까 한다. 사람들이 죽어가도 통계적인 범위 내에서 사망할 사람은 소수이니 나는 괜찮을 거라는 생각으로 감염성 질병에 대처하거나 예방 접종에도 그런 판단으로 대응한다. 확진을 받고 나서도 회복한 사람들에게는 맞는 말일 것이다. 그리고 백신 접종을 하고도 이상반응도 없고 사망하지 않은 사람에게 역시 그런 신앙은 나름 괜찮은 판단이었다고 생각될 것이다. 그럼 죽은 사람들과 그 유가족들에게는 어떨까?
데이터는 이렇게 숫자로 가장 귀중한 것을 치환하게도 만드는 무엇보다도 무서운 신앙이라고 생각한다.
그리고 그 데이터라는 것이 항상 정직하고 보편타당한 것이리라는 기대 역시 사람들의 무의식에 새겨져 있는 상식이자 편향이 아닌가 싶다. 문재인 정부에서는 급증하는 실업난에도 불구하고 취업자 숫자가 유의미하게 늘었다고 주장했다. 무서운 기세로 상승한 부동산가에도 불구하고 부동산가는 10 여 % 정도 증가했을 뿐이라고 호기롭게 주장하기도 했다. 어떻게 현실을 이토록 왜곡할 수 있었던 걸까? 그것이 바로 데이터의 마력이다. 기준만 재설정한다면 의도된 조작이나 설정치의 재조정만으로도 대중에게 제시할 결과값이 달리 나올 수 있는 것이다. 그들의 입장에서는 그것이 거짓도 아니지 않은가? 자신들이 재설정한 기준에서는 그런 결과가 나올 수밖에 없으니 말이다.
데이터가 이토록 악용되고 진실을 호도할 수 있는 마녀 같은 것이라면 우리는 이 데이터라는 것을 외면하고 부정해야 하는 것인가? 아니 이 시대 상황에서 그런 선택은 상식 밖이고 제정신이랄 수 없는 선택일 것이다. 우리는 데이터에 대한 상식의 폭을 확장함으로써 데이터가 오류이거나 데이터로 거짓말을 하는 경우의 수에 대한 상식을 재정비함으로써 이 데이터가 일으키는 거짓의 난에 대처할 수밖에 없다.
본서 다크데이터는 데이터의 오류와 착오를 일으키는 데이터의 맹점을 다크데이터라 정의한다. 이를 크게 누락한 것을 인지한 데이터와 누락한 것조차 알지 못하는 데이터로 분류하고 이를 다시 데이터를 의도적으로 조작한 경우와 의도하에 오류를 불러오는 방식까지를 두루 분류하여 총 15가지 유형으로 정의하고 있다.
데이터 전문가가 쓴 저작이다 보니 저자의 표현으로는 '수많은 데이터'를 언급하고 있고 체감상 적어도 100 여 개 이상의 데이터를 언급한 듯한 느낌이다. 저작이 전문가가 대중적으로 쓰기 위해 최대한 대중의 호기심과 궁금증을 유도하고 그를 지속할 수 있는 데이터 중심으로 언급하고 있다. 하지만 데이터 정보와 그리 가깝지 않은 사람이자 이공계열 사고 회로를 갖추지 못한 (리뷰를 쓰고 있는) 본인에게는 독서에서 호기심과 몰입도가 지속되다 끊기고 다시 일어나 지속되다 끊기는 상황이 반복되었다. 여러모로 흥미로운 주제임에도 (인문학적 서술이라지만) 숫자가 난무하는 데이터에 관련된 저작이다 보니 처음의 관심과 호기심이 저작의 끝까지 일관되게 유지되는 저작은 아닌 것 같다는 감상이 든다.
표지의 띠지에서도 기록되어 있듯 본서에서 언급되는 데이터 사례로는 의료 통계, 금융 설계, 인구조사, 실험 설계, 금융 사기 감지, 투자 예측, 질병 진단, 개인 정보 보호뿐만이 아니라 그 이상의 헤아리기 쉽지 않은 분량의 데이터 사례가 언급되고 있다. 이 모두를 기억하는 것은 천재적인 지능이 아니라면 쉽지 않을 것이다. 그리고 이 모두에서 일관된 흥미와 관심과 집중력을 드러내는 것 또한 천재이거나 데이터 전문가 거나 이공계열적 사고에 익숙한 이들이 아니라면 불가능할 거라고 생각된다.
나로서는 사례로든 데이터 중 챌린저호 공중폭발 사고에서 발단이 된 오링에 대한 데이터의 다크데이터가 다크데이터로 야기될 수 있는 문제를 민감한 사안으로 인식하도록 해주어 기억에 남고 영국 경찰들과 범죄예방(?)부서에서의 범법행위에 대한 분류의 오차가 100% 이상이나 오차가 있는 것도 데이터의 기준을 어떻게 설정하느냐에 따라 결과값이 달라질 수 있으며 데이터를 제시하는 주체가 의도적으로 그를 이용(악용)하고 있다는 것을 제삼 확인할 수 있어서 인상 깊었다.
그 외에는 타이타닉호의 구조자 중 승무원과 승객의 생존 비율과 승무원 중 남성 생존자와 승객의 남성 생존자 비율, 여성 승무원과 여성 승객의 생존자 비율에서 어이없는 숫자 장난 같은 역설적인 결과가 나오는 것도 인상적이었다. 그리고 체중 감소 지수를 산출하는 데이터에서 나이, 성별, 키 몸무게를 기록하는데 여기서 각각이나 교차 누락하는 경우까지도 신뢰도를 높이기 위해 경우의 수를 대입하여 데이터를 산출하려는 저자의 논리 전개에 놀랄 수밖에 없었다. 나이는 체중 감소 효과에서 큰 영향을 미치는 지수이기는 해도 굳이 무시하겠다면 할 수도 있을 것 같았고 성별이야 50:50 의 확률이니 편차가 있다 해도 큰 무리가 없다고 생각되었지만 체중 감소 지수를 산출하는데 키와 몸무게가 누락된 정보를 추정하려 하는 것이 전문가로서 올바른 태도인가 하는 생각이 들었다. 그리고 과거에 있었다는 미국에서의 남편 나이와 부인 나이 비율을 따져 미국인 아내들의 평균 나이를 산출하려는 데이터에서도 남편의 나이를 누락했거나 아내의 나이를 누락했거나 둘 다 누락한 경우에도 이것을 데이터 상에서 무조건 배제하는 것이 아니라 추정치를 잡으려는 것을 보고 데이터라는 것이 무당 놀음인가 하는 생각이 들기도 했다.
무엇보다 과학계에 만연했다는 데이터 사기 사례도 상식의 폭이 넓어지는 것 같은 정보였다고 생각한다. 과학자들과 심리학자들이 이전 과학자와 심리학자의 실험을 재현해본 결과 같은 결론에 도달하는 경우가 저자가 이야기하듯 이렇게까지 희소한지 미쳐 알지 못했다. 과학저널《네이처》의 설문조사에서 1,576명의 응답자 중 70% 이상이 다른 과학자의 연구를 재현하려고 시도했지만 실패했다고 대답했다는 것이다. 심리학계 역시 2008년 심리학 문헌에 발표된 100건을 재현하려 했지만 통계적으로 유의미한 결론을 내놓은 97건의 연구 중 오직 37건에서만 똑같은 결과를 얻었다고 한다. 과학계에서 전문 과학저널 중 저명한 몇몇을 제외하고는 검증하려 시도하지 않을 거라는 기대로 많은 실험 사례들이 올라오는데 이 또한 검증을 거치면 사기로 판명되는 수가 많다는 것이다. 물론 이러한 과정을 모두 거친 이후의 객관적인 자료가 훗날 정당한 과학적 발견으로 역사에 남게 되는 것이기는 하나 전두엽 절제술이라는 사이비 의학도 노벨 의학상을 수상한 전적이 있는 만큼 당시대에는 그런 사기 행각에 놀아날 수 있는 것이다. 본서에서 보여주는 과학 분야의 사기행각의 방식을 조목조목 분류한 대목은 그 정의만큼 인상적이지는 않았지만 과학에 대한 맹신을 깨뜨리는 역할을 해주지 않나 생각된다.
무엇도 신앙하지 않겠지만 과학이라고 맹신하는 것도 종교적 신앙과 다를 바 없다는 생각이 들었다. 데이터 역시 마찬가지이다. 숫자는 거짓말을 하지 않는다고 맹신하기보다는 그 숫자를 착각하고 실수하고 야비하기까지 한 인간이라는 생명체가 다루었다는 것을 잊어선 안될 것 같다.
본서는 착각하고 실수하고 야비한 인간의 특성이 그대로 드러나는 것이 바로 데이터라는 것을 증거하는 저작이라는 데서도 의의가 있지 않나 싶다. 많은 데이터들이 제시되고 있으므로 독자의 성향에 따라 금융 범죄 데이터가 또는 투자예측 데이터가 의학진단 데이터가 각기 더 기억에 남을 수도 있다고 생각한다. 자신의 기호에 맞는 감상을 안겨줄 수 있으니 폭넓은 독자의 사랑을 받을만한 저작이 아닐까 싶다.
YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다.
yes24 리뷰어 클럽 서평단 자격으로 작성한 리뷰입니다.
바야흐로 데이터의 시대이다. 빅데이터는 인공지능에 활용되고 있고, 우리의 일상은 각종 데이터로 전환되어 마케팅 부서의 정보 활용이나 고객 데이터 활용, 정치 설문조사, 코로나 관련 동선 체크는 물론 해킹 요소로까지 쓰이고 있다. 그야말로 데이터가 쏟아지다 못해 넘치는 시대이다. 다른 말로 하면 정보의 홍수다. 이럴수록 당연히 정보는 얻기 쉽겠지만 동시에 양질의 정보를 얻으려면 더 많은 노력을 기울여야 된다. 가만히 있으면 오히려 스쳐 지나가는 정보때문에 정보부족이 될수도 있다. 큰 홍수뒤에 큰 가뭄처럼 말이다. 그런데 여기에 문제가 하나 더 있다. 다크 데이터다. 수많은 데이터 정보들을 다루지만 누락되거나 왜곡되거나, 변형되는 등의 데이터 정보들이 많다. 특히 이것을 통계로 나타낼 때 자주 일어난다. 고의성이 있을수도 있지만 아닐수도 있다. 그만큼 양질의 데이터를 얻고 해석하기가 쉽지 않기 때문이다.
그래서 이 책은 통계에 관심이 많고, 데이터 정보 해석에 관심이 많은 사람들에게 아주 필요한 책이다. 과학 실험에서도 마찬가지이다. 대신 책에서 경고하는 많은 다크 데이터 사례때문에 겁에 질려 혼란이 올수도 있다. 완벽한 데이터가 어렵고, 완벽한 데이터 해석도 어렵다는걸 반증하고 있으니까. 거의 책의 대부분에 해당하는 데이터에 대한 경고들은 그만큼 저자의 우려와 걱정을 잘 보여준다. 결국 저자는 다크 데이터의 중요성과 위험성을 어필하면서 계속 의심해야 한다는 걸 강조하고 싶은 듯 하다. 완벽할 수는 없지만 완벽하려고는 해야 하니까. 다크 데이터의 발생과 잘못된 사용은 가깝게는 해킹과 실험에서, 정책이나 의약품을 거쳐 멀게는 인공지능 데이터까지 영향을 미칠 테니까. 잘못된 정보 해석은 잘못된 결정과 결과를 낳을 수 있다.
**어쨌든 사람이 중요한 것 같다. 다루고 해석하는건 결국 사람 몫이다.
***번역이 쉽게 정복될 것 같아도 인공지능에서 결함이 생기는 이유도 다크 데이터 탓이 아닐까.
****어떻게 구역을 나누고 정보를 가르느냐에 따라 완전히 달라 보일수도 있다.
*****책에 나온대로 통계에는 항상 출처가 중요하다.
******설문조사가 어려운 이유이다. 그냥 받는다고 해결되는 것도 아니고 없앴다고 해결되는 것도 아니다.
*******임상 실험에서도 중요하게 쓰이기에 그것이 향후 부작용이나 효과에도 영향을 줄 수 있다.
********과대해석, 과소해석, 왜곡은 정말 순식간인 것 같다.
*********다크 데이터를 아는 사람일수록 모든 통계자료를 바로 받아들이기는 힘들어질지도 모른다.
**********우주의 암흑물질처럼 잘 끌어안고 살아야 하는 것일지도.
***********양자역학처럼 먼저 마음을 정하고 정보와 통계를 다룬다면 다크 데이터가 작동하면서 보고 싶고, 바라는 통계만 나올수도 있다.
************다크 데이터에 관해서는 무응답도 응답이라는 말이 딱 어울린다. 노코멘트도 코멘트다.
*************다크 데이터를 알수록 인공지능이 무서워지기도 한다. 인공지능에 의해 인간의 한 측면이 배제될 수 있으니까.
**************결국 방대한 데이터도 인간과 같다. 스스로를 알지 못하면 잘못 될 수 있듯이 데이터를 무조건 믿으면 잘못 될 수 있다.
***************다양성, 다양한 시각, 소수의 시각을 받아들이고 진리와 당연한 것을 의심하는 것이 데이터에도 적용된다.
****************데이터도 요리의 재료일 뿐이다. 요리의 종류와 맛과 컨셉을 결정하는 것은 인간 요리사다.
*****************역시 어둠도 주목해야 빛도 제대로 알 수 있다.
##인상적인 문구들
##다크 데이터를 통해 누구나 이득을 얻을 수 있다는 뜻이다.
##빅데이터가 있으면 좋겠지만 크기가 모든 것을 말해주지는 않는다. 그리고 우리가 모르는 것, 가지고 있지 않은 데이터가 가지고 있는 데이터보다 상황을 이해하는데 훨씬 더 중요할 수도 있다.
##트윗이 적었던 지역은 허리케인 피해가 작은 게 아니라 트윗을 올릴 스마트폰, 곧 트위터 사용자가 적었다는 데 있었다.
##데이터=모든 것이라는 개념으로 되돌아가서, 어떤 맥락에서는 모든 데이터가 존재한다는 개념 자체가 확실히 비합리적이다. ~측정을 여러 번 해서 평균을 취한다. 하지만 결코 모든 측정을 할 수는 없다. 이런 맥락에서 모든 것은 아예 존재하지 않는다.
##만약 어느 시기 동안 수치의 급격한 변화가 일어났다면, 바탕이 되는 현실이 바뀌었을 수도 있지만 데이터 수집 절차가 바뀌었기 때문일 수도 있다.
##설문조사 응답률은 전세계적으로 떨어지고 있다.~ 사람들은 필요성이 클수록 설문조사에 제대로 응답할 가능성이 크기 때문에 설문조사는 전반적으로 매우 잘못된 인상을 남길 위험성이 있다.
##어떤 경우에는 빠진 기록이 적더라도 입수한 데이터가 전체 인구를 대표하지 못할 수 있다.~무응답 형태의 다크 데이터가 증가하고 있다.
##무응답하는 이유는 시간이 흘러도 크게 바뀌지 않음을 알아냈다. 주된 이유는 응답 대상자들이 별 관심이 없거나, 바빴거나, 답변하는 데 시간이 너무 많이 걸리기 때문이었다. 다른 이유로는 사생활 침해 우려가 있었거나, 조사 내용을 이해하지 못했기 때문이었다.
##잘 알려져 있듯이 보통 사람들은 실제로 범죄를 당할 위험보다 범죄의 위험을 더 크게 느낄 수 있다. 무언가를 잘 모르면 실제보다 더 나쁘게 보이는 법이다. (다크 데이터의 또 한가지 측면이다.)
##호손 효과로 인해 더 복잡한 문제가 생긴다. 호손 효과란 사람들이 자신이 관찰당하는지를 알면 평소와 달리 행동하는 경향을 가리킨다. 그렇다면 사람들에게 사실을 숨긴 채 은밀히 연구해야 이상적일 것 같지만, 이는 미리 알려서 동의를 얻어야 한다는 윤리적 관점에 정면으로 위배된다.
##데이터 수집 전략은 인간이 고안하고 실시하며, 수집된 데이터도 인간이 해석하고 분석한다. 어떤 데이터를 수집할지, 그리고 분석의 결과가 무슨 의미인지 결정하는 일도 우리의 이전 경험에 바탕을 두므로 이런 결정은 장래에 이 세계의 상황을 대변해주지 못할지도 모른다.
##우리는 온갖 무의식적인 편향에 취약하다. '가용성 편향'이 있다. 어떤 사건이 생길 가능성을 판단할 때, 그 사건을 우리가 얼마나 쉽게 떠올릴 수 있는지를 바탕으로 삼는 편향이다.
##심리학 실험들이 입증해낸 바에 따르면, 우리의 믿음은 우리의 기억에 영향을 끼칠 수 있다. 확증 편향과 반대로 사람들은 자신의 원래 믿음과 어긋나는 반박 증거를 잊는 경향이 있다.~ 부정적 편향, 묵인 편향, 편승효과, ~기괴함 효과는 흔한 내용보다 인상적인 내용이 더 잘 기억되는 효과다. 이 모든 편향에도 불구하고 우리가 무언가를 옳게 판단한다면 그것이야말로 얼마나 경이로운 일인가.
##반드시 기억해야 할 점은 데이터가 다크 데이터인지 아닌지 여부는 우리가 무엇을 알고 싶은지에 달려 있다는 것이다.
##과거는 미래를 알려주는 좋은 기준이 아닐 수 있다. 특히 상황이 변할 때, 가령 경제 상황이 나빠지거나 자동차 제조사가 새 기종을 내놓거나 식당 주인이 바뀔 때 그렇다. 하지만 아무것도 변하지 않는데도 성과가 나빠질 수 있다.(평균으로의 회귀) 우리는 그렇게 바뀌는 상황을 예상해야 한다.
##여러분이 묻고 싶은 질문에 답을 얻으려면 요약 통계(들)를 조심해서 선택해야 한다는 거이다.
##데이터의 유용성이 시간이 지나면서 감소할 수 있다는 것이다. 과일이 부패하는 것처럼 데이터가 물리적으로 나빠져서가 아니라 세상이 달라지기 때문이다.~ 특히 인간을 대상으로 하는 데이터는 구식이 되기 쉬운데 인간은 변하기 때문이다.~설상가상으로 데이터는 의도적으로 왜곡될 수도 있다.
##아무리 풍부한 공리계라도 그 체계 안에서 증명도 반박도 할 수 없는 명제가 있다.~ 인간사회의 측면에서 보자면, 그런 사례는 필연적으로 빈틈이 있게 마련인 정교한 규정의 체계에서 생길 때가 많다. 그런 빈틈이 자주 드러나는 분야 중 하나가 세금 체계다.
##데이터를 평균으로 대체하는 것은 요약하거나 뭉뚱그리기로 값을 흐릿하게 만드는 한 가지 예.
##어떤 것이 사실이라고 하기엔 너무 좋아 보이면, 사실이 아닐 가능성이 크다. 아마도 진실을 숨기고 있을 것이다.
##프랜시스 베이컨: 인간은 어떤 견해를 일단 채택하고 나면 그 견해에 들어맞고 그 견해를 뒷받침하는 온갖 것을 끌어들인다. 그리고 다른 쪽에서 그 견해와 다른 비중 있는 많은 사례가 나오더라도 무시하고 경멸하거나 어떤 판단 기준을 내세워 배제하고 거부한다.
##과학자들은 순위에서 밀릴 위험을 감수하기를 싫어한다. 획기적인 업적이 될 수 있다면 설령 나중에 결과의 결함이 드러날 우려가 있더라도 서둘러 발표하는 편이 낫다고 여긴다.
##흥미롭게도 사람은 감쪽같이 자기 자신을 속인다. 확증 편향.
##진실과 거짓을 구별하는 문제는 아득한 옛날부터 인류의 숙제였다. 정확한 답을 얻기 어려운 문제였기 때문이다. 하지만 데이터의 영역에는 유용한 전략이 하나 있다. 바로 데이터가 어디에서 온 것인지, 누가 데이터를 모았는지, 누가 보고했는지를 추궁하는 것이다. 데이터가 제시되었을 때 '누가 한 말인가?'라는 질문을 던지고 답을 요구해야 한다.
##투명성은 종종 다크 데이터, 최소한 사기와 속임수 사례에서 발생하는 다크 데이터에 대한 부분적인 해답으로 부각된다. 투명성이라는 개념의 요지는 공개된 것은 어떻게 돌아가는지 알아보기 쉽다는 것이다. ~ 서구 민주주의는 개방성을 다양한 수준에서 매우 강조하며, 정부가 활동 내용을 자세히 발표하도록 권장한다.~ 투명성은 지방정부 책임성의 근본이며, 사회에서 큰 역할을 수행하도록 사람들에게 필요한 도구와 정보를 제공하는데 핵심 요소다.
##경제 관련 문제일수록 사람들은 답을 순순히 털어놓지 않을 수 있다.
##많은 경우 다크 데이터는 단지 관찰되지 않는 것 이상, 다시 말해 본질적으로 관찰이 불가능한 데이터다. 그런 데이터는 숨어 있거나 '잠재적'이다. 하지만 그렇다고 해서 관찰이 불가능한 데이터를 아예 밝혀낼 수 없다는 뜻은 아닌데, 그것을 밝혀내는 일이야말로 통계 기법들의 진정한 목적이다. 현실에서 생겨난 데이터에 적용되는 통계도구들은 그 현실에 관해 우리에게 무언가를 알려준다. 데이터가 현실에 빛을 비쳐주는 것이다.
##정말로 막대한 데이터 세트들이 컴퓨터 때문에 수집되고 저장되고 처리되고 있다. 이 이 데이터베이스는 엄청난 기회를 낳는다. 하지만 바로 그 컴퓨팅 능력이 한편으로 근본적인 불확실성을 초래한다.~ 컴퓨터는 필연적으로 우리와 데이터 사이의 매개자 역할을 할 뿐이다. 컴퓨터는 데이터의 어떤 측면들을 가려버린다.
##어떤 것을 충분히 이해하지 못하면 길을 잘못 들 수 있다.
##사실 데이터 감추기는 현대사회가 효과적으로 기능하는 데 중심역할을 한다. 우리는 데이터를 감추지 않고서는 일상활동이 불가능하다.
##뼈아픈 진실은 데이터란 완전히 다크 상태여서 쓸모가 없든지, 아니면 어떤 빈틈으로라도 침입을 당하고 만다는 것이다.
##다크 데이터가 존재할 수도 있다고 늘 의식하기다. 우리는 데이터가 불완전하거나 부정확하다는 것을 기본 전제로 삼아야 한다. 데이터를 의심하라. 적어도 적절하고 정확하다고 증명되기 전까지는.
##다크 데이터는 기계도 속일 수 있다. 기계학습과 인공지능의 적용 사례들이 점점 많아지고 있으므로, 다크 데이터가 기계를 속이는 바람에 실수와 사고를 초래하는 일도 더 많이 알려지리라고 예상된다.
##다크 데이터는 무한히 많은 방식으로 생길 수 있다. 우연히 생길 수도 있지만 의도적으로 만들어질 수도 있다. 때때로 사람들은 특정한 방식으로 내용을 표현하여 진리를 감추려고 한다. 경계심을 가지면 감춰진 진실을 찾아낼 수 있는데, 일반적으로 유용한 전략은 데이터를 다른 각도에서 보는 것이다.
##데이터에 무엇이 빠져 있는지를 이해하지 못하면 정답이 있는 곳이 아니라 자신들이 볼 수 있는 곳만 보는 심각한 위험에 빠진다.
yes24 리뷰어 클럽 서평단 자격으로 작성한 리뷰입니다.