유비쿼터스 경영 컨설턴트들은 직업의 미래에 대해 “당신이 하는 일을 기계가 기록하고 모방할 수 있다면 당신은 기계로 대체될 것이다”라고 말한다. 대량 실업에 대한 이야기가 정책 입안자들의 주목을 받고 있다. 더욱 강력해진 소프트웨어와 로봇, 예측 능력이 뛰어난 분석 기법의 발전으로 인간 노동자가 불필요한 세상이 올 수도 있다. 여러 개의 카메라와 센서를 연결해 데이터 더블을 만들 수 있다. ‘데이터 더블’이란 우리의 모든 일을 대신할 수 있는 홀로그램이나 로봇을 말한다. 이런 상상은 곧 냉혹한 현실이 될 것이다.
--- p.9, 「1장 서론」중에서
구글은 매장에 전화를 걸어 인공지능 음성으로 사람 대신 예약을 해주는 비서 서비스를 시연하며 업계와 언론을 충격에 빠트렸다. 구글 같은 막강한 기업의 모습을 숨기고 대화 도중 사람이 망설이는 듯한 모습을 흉내 내며, 상대방에게 질문하고 마치 사전에 녹음된 음성이 아닌 것처럼 위장한다. 전화를 받는 입장에서는 자동화된 콜센터에서 걸려오는 전화가 넘쳐나는 등 좋지 않은 방향으로 악용될 수 있다. 인간의 모습을 위조하는 것은 단지 기만적인 행위일 뿐만 아니라, 인간의 모습을 위조하는 이들에게 지지와 관심이라는 혜택까지 주는, 진실하지 못하고 부당한 일이다. 로봇 교사와 군인, 고객서비스 담당자 등 여러 사례에서 보겠지만, 인간 모방이 실패했을 때 생기는 불편함은 단순히 기술이 불완전했기 때문만은 아니다. 오히려 기술이 나아갈 방향에 대해 현명한 주의가 필요하다는 생각을 하게 한다.
--- p.17, 「1장 서론」중에서
어떤 학생은 안면 인식 시스템이 자신의 얼굴을 인식하지 못한다고 불평했다. 헤어스타일이나 메이크업을 바꾸면 알아보지 못한 것이다. 학교는 회사에 여러 개의 얼굴 사진을 보냈다. 그러나 어떤 학생은 카메라를 거부하고, 심지어 한 학생은 “카메라를 박살내고 싶다”고 말하기도 했다. 대규모 감시에 익숙한 나라에서도 초 단위로 모든 일상을 기록하는 것은 분노를 불러일으키기에 충분했다. 게이츠 재단이 미국에서 생체 인식 장치(Cognate Biometrics, 학생의 강의 참여도를 지속적으로 측정하기 위한 피부 반응 전기 팔찌)에 자금을 지원했다가 대중의 반발로 중단했다.
--- p.75, 「3장 기계학습자를 넘어서」중에서
빅테크 기업은 더 이상 자신을 다른 사람들의 콘텐츠를 전달하는 단순한 플랫폼이라고만 말할 수 없다. 특정 대상을 선별해 관련 콘텐츠를 제공하는 것을 전제로 하는 마이크로 타게팅 광고를 통해 이익을 얻는다면 더욱 그렇다. 그들은 편집에 대한 책임이 있고, 이는 곧 알고리즘이 해결하지 못하는 문제에 대응하기 위해 훨씬 더 많은 저널리스트와 팩트체커를 영입해야 한다는 것을 의미한다. 빅테크 기업의 변호인들은 이런 책임을 소수의 기업이 감당하는 것은 불가능하거나 현명하지 않다고 주장한다. 그들은 개인이나 사설 팀이 관리하기에는 콘텐츠 양이 너무 많다고 주장한다. 플랫폼에서 문제를 해결하기 위해서는 인간의 전문지식보다는 소프트웨어 알고리즘이 이상적인 방법이라고 주장한다. 그러나 이런 주장은 페이스북 같은 기업이 알고리즘 외에도 수작업으로 뉴스 피드를 끊임없이 조정하고 있다는 사실을 무시한 것이다.
--- p.112~113, 「4장 자동화된 미디어의 외계 지능」중에서
MIT 연구원 조이 부올람위니(Joy Buolamwini)는 상용 안면 인식 소프트웨어가 소수자, 특히 소수계 여성을 식별하지 못하는 실패 사례를 기록했다. 그녀는 이 머신 비전을 ‘코드로 만든 시선’이라고 부른다. 이는 기술을 만들 수 있는 힘을 가진 사람의 우선순위와 선호도, 때로는 편견을 반영한다. 이런 사례는 최고의 리소스를 보유한 기업에서도 어렵지 않게 찾아볼 수 있다. 미국 시민자유연맹이 아마존의 영상 인식 소프트웨어를 사용해 미국 의회 의원들 중 데이터베이스 에 있는 범죄자가 있는지 확인해 달라고 요청했을 때, 잘못된 결과가 많이 나왔다. 너무나 많은 의원들을 범죄자로 식별했던 것이다.
--- p.147, 「5장 인간을 판단하는 기계」중에서
동일한 원칙이 ‘섬뜩한 포용’에도 적용된다. 끊임없는 휴대 전화의 추적과 정보 보관 및 데이터 재판매는 섬뜩한 포용의 대표적인 예이다. 은행원이 직원에게 주말도 없이 24시간 내내 그녀를 따라다녀도 괜찮냐고 묻는다면 위협을 느끼는 게 당연하다. 심지어 그를 상대로 스토커 접근 금지 명령을 내릴 수도 있다. 휴대전화 추적기와 함께 제공되는 신용 계약은 크게 위협적이지 않을 수 있지만 데이터를 계속 사용하는 것은 문제를 불러올지 모른다. 소름 끼치는 것은 현재 상태를 바탕으로 미래의 위협을 예측하는 것이다. 섬뜩한 포용은 알려지지 않은 의사결정 기계들이 우리의 자동차와 침실, 욕실에 몰래 들어오게 한다.
--- p.158, 「5장 인간을 판단하는 기계」중에서
대조적으로 보멀과 보웬이 정체된 분야라고 부르는 예술, 건강, 교육 분야에서는 가격이 그대로 유지되거나 상승한다. 1790년에 현악 4중주를 연주하는 데 4명이 필요했는데 오늘날에도 같은 인원이 필요하다. 2020년의 강의는 1820년이나 1620년의 강의와 동일한 기본 패턴을 공유할 수 있다. 비용의 질병학자에게는 교수의 강의의 연속성이나 의사의 신체검사가 의심스럽다. 왜 학교는 농장처럼 혁신적이지 않고, 학생들은 새로운 유전자 변형 작물처럼 강해지지 않는가? 의료 서비스의 생산 라인과 교체 가능한 부품, 표준화된 해결책은 어디에 있는가?
--- p.217, 「7장 자동화의 정치 경제에 대한 생각」중에서
더 빨리 일해야 한다는 비즈니스 격언은 근로자의 자율성을 억압하기 위한 수사 도구로 너무 빨리 수단화되었다. 미국의 고용주들은 다루기 힘든 근로자에게 더 많은 유연성을 요구하기 위해 내국인 근로자의 일자리를 빼앗을 준비가 된 해외 근로자들을 한때 들먹였지만 이제는 훨씬 더 빠른 기계를 찾는다. 더 많은 휴식 시간을 요구하는가? 로봇은 연중무휴로 일할 수 있다. 더 높은 임금을 원하는가? 당신을 소프트웨어로 대체할 동기를 만들 뿐이다. 전기료나 교체 부품은 식품이나 의약품보다 훨씬 저렴하다.
--- p.263, 「8장 컴퓨터의 능력과 인간의 지혜」중에서