이 책은 인간이 어떤 존재인지, 어디로 가고 있는지, 우리에게 중요한 것이 무엇인지, 그리고 이런 개념이 기술 때문에 어떻게 바뀌고 있는지를 다룬다. 이미 이 세상에 등장해서 우리 옆에서 인간의 역량을 키우고 실수를 바로잡으며 문제를 해결하지만, 그 과정에서 새로운 문제를 일으키는 알고리즘과 어떤 관계를 맺을지 살펴본다. 또한 이 책은 우리 사회가 알고리즘으로 얻는 이익이 해로움보다 큰가 하는 물음을 다룬다. 자신의 판단보다 기계를 더 신뢰해야 할 때가 언제인지, 기계에 통제권을 맡기고 싶은 유혹을 떨쳐야 할 때가 언제인지를 알아본다. --- p.16
우리는 상황을 모 아니면 도로 보는 탓에 알고리즘을 전지전능한 통치자로 보거나, 쓸모없는 쓰레기 더미로 보는 성향이 있다. 그런데 이 성향이 첨단 기술 시대를 맞아 상당한 문제를 일으킨다. 첨단기술을 최대한 활용하고 싶다면, 우리는 알고리즘을 조금 더 객관적으로 볼 길을 찾아내야 한다. 카스파로프의 실수를 교훈 삼아 인간의 결점을 인정하고, 우리가 본능적으로 보이는 반응에 의문을 던지며, 우리를 둘러싼 알고리즘에 어떤 감정을 갖는지 더욱 주의 깊게 인식해야 한다. 다른 한편으로는 알고리즘을 무턱대고 떠받들지 말고 꼼꼼히 살핌으로써 알고리즘이 내세우는 능력이 정말로 존재하는지 따져보아야 한다. 그래야만 알고리즘이 우리가 넘긴 힘을 손에 쥘 자격이 있는지 판단할 수 있다. --- p.48
이들은 당신의 이 모든 데이터를 결합한 뒤에 자사가 구매해 확보한 여러 정보와 서로 대조해서 당신을 상세히 알려주는 파일로 만든다. 즉 당신이 디지털 세계에 남긴 그림자를 분석해서 당신의 데이터 소개서를 만든다. 이런 브로커가 만든 데이터베이스 가운데 어떤 것은 거짓말 하나 보태지 않고 정말로 당신의 ID(물론 당신이 이 ID를 알 리는 없다)를 입력해 디지털 파일을 열면, 당신이 지금껏 디지털에 남긴 흔적을 고스란히 보여준다. 이름과 생년월일부터, 종교 성향, 정치 성향, 휴가 습관, 신용카드 명세서, 순자산, 몸무게, 키, 장애, 복용하는 약, 도박 습관, 임신 중절 여부, 부모님의 이혼 여부, 중독 취약성, 사기 취약성, 강간 피해 여부, 총기 제어에 대한 의견, 겉으로 보이는 성적 취향과 실제 성적 취향까지 모두. 달리 말해 어딘가에 숨은 서버 속에 수만 가지 파일과 범주가 저장되어 있고, 그 안에 사실상 한 사람 한 사람의 수만 가지 상세 정보가 들어 있다. --- p.61
알고리즘이 인종을 대놓고 평가인자로 명시하지는 않았지만, 「프로퍼블리카」는 계산 알고리즘이 모든 사람을 똑같이 다루지는 않는다는 사실을 알아냈다. 전체 결과를 볼 때 알고리즘이 오류를 일으킬 확률은 흑인이든 백인이든 크게 다르지 않았지만, 인종에 따라 오류의 종류가 달랐다. 당신이 처음 체포된 뒤 다시는 말썽을 일으키지 않은 피고 즉 루크 스카이워커라 하자. 이때 알고리즘이 당신을 고위험군으로 잘못 분류할 확률이 백인보다 흑인일 때 두 배였다. 달리 말해, 알고리즘의 긍정 오류가 흑인에 치우쳐 있었다. --- p.108
앞으로 몇 년 뒤, 당신이 자율주행 자동차를 타고 도심 거리를 신나게 달리고 있다고 해보자. 교통 신호가 빨간 불로 바뀌었는데 자동차에 이상이 생겨 차를 멈출 수가 없다. 충돌을 피할 수 없는 이 상황에서 차는 선택을 해야 한다. 도로에서 벗어나 콘크리트 벽을 들이받아 탑승자를 죽음에 이르게 할 것인가? 아니면 계속 달려 탑승자는 살리되, 횡단보도를 건너는 보행자를 칠 것인가? 우리는 이때 자율주행 알고리즘이 어떻게 작동하도록 설계해야 할까? 누가 죽을지를 어떻게 결정할까? 당신도 분명 나름대로 의견이 있을 것이다. 아주 단순하게 되도록 많은 목숨이 걸린 쪽을 구해야 한다고 생각할지도 모른다. 아니면 ‘살인하지 말라’라는 성경 구절이 어떤 계산보다 우선하므로 차량 탑승자가 결과를 받아들이도록 내버려둬야 한다고 생각할지도 모른다. --- p.192
내가 보기에 알고리즘을 시급히 규제해야 한다는 목소리가 범죄 수사 분야보다 크고 분명한 곳은 없다. 범죄 수사 분야에서는 이런 시스템의 존재 자체가 심각한 물음을 제기하는 데다가 답을 얻기도 쉽지 않기 때문이다. 어쨌든 우리는 이런 난감한 딜레마에 직면해야 한다. 알고리즘을 기업과 분리한다면 효과가 떨어져서 범죄율이 올라갈 것을 알면서도, 이해하거나 안을 들여다볼 수 있는 알고리즘만 받아들이기를 고집해야 할까? 편향성이 내재하거나 오류를 저지를 가능성이 입증된 수학적 시스템은 모두 무시해야 할까? 그렇게 하면 인간의 판단 체계에 맡기는 것보다 높은 기준을 알고리즘에 적용하는 줄을 알면서도? 게다가 얼마나 편향되어야 편향이 지나친 수준이 되는 것일까? 알고리즘 때문에 생기는 희생자보다 막을 수 있는 범죄 때문에 생기는 희생자를 우선시하는 지점은 어디일까? --- p.261
무엇보다도 알고리즘의 힘에 의문을 제기하기를 주저한 탓에 우리를 이용하려 드는 사람들에게 기회를 열어주었다. 이 책을 쓸 자료를 조사하는 동안, 나는 알고리즘이라는 신화에 속기 쉬운 인간의 습성을 악용해 이익을 얻으려 드는 온갖 엉터리 사기꾼과 마주쳤다. 어떤 이들은 과학적 반증이 버젓이 존재하는데도, 경찰과 정부에 얼굴 특성만을 근거로 어떤 사람이 테러리스트인지 소아성애자인지 ‘예측’할 수 있다고 주장하며 알고리즘을 판다. 어떤 이는 자기네 알고리즘이 제안하는 대로 영화 대본을 바꾸면 흥행 수익이 오른다고 주장한다. 또 어떤 이는 눈 한 번 깜빡이지도 않고, 자기네 알고리즘이 평생 하나뿐인 진정한 사랑을 찾아줄 수 있다고 주장한다. 하지만 그들의 주장에 부합하는 알고리즘일지라도 걸핏하면 권위를 악용하기 일쑤다. 이 책에는 알고리즘이 끼칠 만한 해악을 다룬 이야기가 가득하다.
--- p.297