구글 포토의 사진 인식 툴은 사진을 주제별로 자동 분류해 앨범마다 제목을 달았다. 어떤 앨범에는 “졸업”이란 제목이 붙었다. 앨신은 사진 속 동생이 쓴 학사모를 식별했음을 알고 깊은 인상을 받았다. 그런데 어떤 앨범에 붙은 제목을 보고 얼어붙었다. 앨범에는 친구랑 같이 찍은 사진이 있었다. 참고로 앨신은 아이티계 미국인어서 사진 속 둘은 모두 흑인이었다. “고릴라” 이게 앨범 제목이었다.
--- 「1부 1장 “표현”」 중에서

예를 들어, 가장 무모한 운전자를 남성이라 파악하는 예측 툴이 있다고 하자. 결과적으로 남성 운전자를 공격적으로 단속하면 그들의 무모함이 상당히 줄어들 수 있다. 하지만 여성 운전자는 자신이 단속당할 가능성이 더 적음을 깨닫고 무모하게 운전할 수도 있다. 결과적으로 도로는 평균적으로 덜 안전해진다. 하코트는 이렇게 썼다. “과거나 현재, 미래의 범죄에 더 높은 점수를 부여하는 것이 법 집행의 핵심 목적, 즉 범죄를 최소화한다는 목적에서는 완전히 역효과를 낳을 수도 있다.”
--- 「1부 2장 “공정”」 중에서

무엇보다도 우리가 의사 결정을 ‘통계 모형에 떠맡길 때’ 직면할 수많은 문제가 무엇이든 간에, 인간의 판단만 고집하는 것 역시 바람직한 방안이 아니라고 시사하는 듯하다. 또한 인간의 예측 능력에 맞먹거나 더 나은 예측을 하는 데 굳이 복잡하고 정교한 모형까진 필요하지 않다는 점도 시사하는 듯했다. 그러나 여기에는 감질나는 질문 몇몇이 숨었다. “이 놀라운 결론은 대체 무엇을 설명하는 걸까?”, “인간의 판단은 정말로 나쁜 걸까?”, “몇 개의 변수를 쓰는 단순한 선형 모형이 정말 좋은 걸까?”, “우리가 예상하지 못한 어떤 지점에서, 인간의 지식이 그 단순한 선형 모형에 들어간 것은 아닐까?”, “아니면 인간이 엉뚱한 곳을 보던 게 아닐까?”
--- 「1부 3장 “투명성”」 중에서

자전거를 타고 아무렇게나 돌아다니다 목적지에 다다를 가능성은 아주 낮았기에, 연구진은 자전거가 목적지에 조금이라도 더 가깝게 다가갈 때면 낮은 점수를 주기로 했다. 그러자 놀랍게도 시스템은 출발점에서 20~50미터의 반지름을 그리면서 빙빙 돌았다. 목적지에서 멀어질 때 문제를 빠뜨린 탓이었다. 시스템이 그 허점을 발견했고, 어지러웠겠지만 거침없이 허점을 계속 사용했다.
--- 「2부 5장 “조형”」 중에서

“정확히 운전하는 사례만 보여 줘서는 안 된다. 실수했을 시 복구(즉, 차선 중앙으로 돌아오는)하는 사례도 보여 줘야 한다,” 그런데 그게 어떻게 가능할까? 가장 먼저 떠오르는 방법은 일부러 차를 어긋나게 몰았다가 돌아오는 것을 보여 주는 것이다. 물론 차선을 이탈하는 첫 장면을 보여 줘서는 안 된다. 차선 이탈까지 훈련하지 않도록 말이다! (…) 포멀로는 앨빈의 카메라에 찍힌 실제 사진을 뽑아서 도로가 살짝 기운 것처럼 조작했다. 그리고 차선 안쪽으로 살짝 운전대를 돌린 후 직진하라는 명령문과 함께 도로 사진을 훈련 데이터에 집어넣었다. 일종의 해킹이었지만 아무튼 I-79 도로에서는 먹혔다.
--- 「3부 7장 “모방”」 중에서

“기계에다가 네 자신의 목표를 추구하라 하지 않고, 우리 목표를 추구하라고 하면 어떨까요? 이게 우리가 줄곧 했어야 할 일이 아닐까요?”
--- 「3부 8장 “추론”」 중에서

“제가 개 사진을 한 무더기 주고서 품종 분류 툴을 만들라는 과제를 낸다 치죠. 그리고 이 사진을 툴로 분류하라 해요.” 그런데 사실 개가 아니라 고양이 사진이었다. “당신은 모형이 사진을 어떻게 분류하기를 바라나요? 당신이 어떤 사람인지는 모르지만, 툴이 고양이 사진을 개라고 분류하기를 원치 않을 거예요. 대신 전혀 보지 못한 사진이라고, 데이터 바깥에 있다라는 반응을 원할 겁니다. 제가 든 예가 극단적일 수도 있어요. 그런데 의사 결정에서는 이런 상황이 계속 나타나요.