왜 이런 일이 생겼을까? 이 사건을 보도한 〈뉴욕 타임스〉기자와 자문에 응한 전문가는 ‘윌리엄스 사건이 안면인식 알고리즘의 오류로 인해 미국인이 부당하게 체포됐다고 알려진 최초의 사례일 수 있다’고 추측한다. 기계학습 방식의 인공지능이 사용되는 안면인식 시스템은 결함이 있는 동시에 편향됐을 가능성도 크다. 다른 인구 집단보다 백인 남성의 얼굴을 더 정확히 인식하기 때문이다. 그래서 윌리엄스의 사건에서처럼 무고한 사람을 범인으로 인식하고, 경찰이 일을 제대로 하지 않을 경우 범죄를 저지르지도 않은 사람이 체포되는 결과를 초래한다.
--- p.11

그러나 이러한 인공지능에 의한 넛지는 무언가를 하게 하거나 결정을 하도록 강요받는 게 아니기 때문에, 소극적 자유에 대한 위협보다는 적극적 자유에 대한 위협에 해당한다. 즉, 넛지는 인간의 잠재 의식 속에 있는 심리에 영향을 미쳐, 목표를 세우고 스스로 선택하는 합리적인 인간으로 존중하기보다는 인간의 마음을 조종한다. 광고와 선전이 그렇듯이 인간의 잠재의식을 이용하는 방식은 넛지가 처음은 아니다. 하지만 넛지는 자유주의적인 척하면서 인공지능으로 점점 더 빠르게 확산하여 광범위하게 영향을 끼칠 가능성이 크다.
--- p.41

디지털 기술과 매체는 자유만이 아니라 평등과 정의에도 영향을 미친다. 반 다이크에 따르면, 네트워크 기술은 생산과 분배를 보다 효과적이고 효율적으로 만들지만 동시에 불평등을 증가시킨다, “네트워크 기술은 전 세계적으로는 국가들의 결속과 함께 불균등한 발전을 촉진시키는 경향이 있으며, 지역적으로는 전 세계의 정보 인프라에 직접적으로 연결되는 지역과 그렇지 않은 지역으로 나눠 이중 경제를 형성하게 돕는다.”(336) 경제발전의 이러한 차이는 발전 ‘속도’가 서로 다른 사회를 만든다. 어떤 사람은, 또 어떤 국가는 다른 사람보다, 그리고 다른 국가보다 기술과 매체로부터 더 많은 혜택을 받는다.
--- p.77

같은 관점에서 보면 문제의 편향된 알고리즘이 가지고 있는 잘못된 점은 이 알고리즘이 중립적이지 않은 게 문제라기보다는, 구조적으로 흑인이 불리하기 때문에 기존의 불평등을 재생산하고 무엇보다도 인종적 편견이라는 “연동 형태의 차별”에 기여하고 있다는 사실이다. 한편, 리는 많은 반려 로봇과 스마트 인형의 등장이 “백인성을 정상화한다”고 주장한다. 따라서 이런 주장은 기술이 중립적이라는 도구주의 견해를 무너뜨리는 동시에 “공평한 경기장”이 있고, 심지어 “불평등이 바로잡히는” 곳으로 이야기되는(흔히 업계에서 나오는) 디지털과 중립적인 기술에 근본적으로 이의를 제기한다.
--- pp.106~7

그렇다면 이러한 민주주의가 인공지능에 어떤 의미인가? 이 같은 형태의 민주주의는 전문가와 인공지능에 의한 배타적인 기술관료적인 거버넌스와 알고리즘과 인공지능 추천에 대한 맹목적인 배타적 의존 같은 비참여적 거버넌스 방식를 배제한다. 하지만 시민들이 스스로 최종 발언권을 가지고 자신의 판단을 믿고 논의하는 한, 민주적 절차에 인공지능으로부터 얻은 지식과 전문가가 어떻게든 관여할 수 있는 가능성의 여지는 있다. 그렇지만 인공지능이 잠재적으로 관여할 수 있는 정확한 형태는 명확하지가 않다.
--- p.135

아렌트의 말이 옳다면, 권위주의와 전체주의는 파괴된 사회구조를 만들어내기보다는 이미 파괴된 구조 위에서 성장한다. 아렌트의 관점에서 전체주의는 엄밀히 말해 정치적 움직임이 아니라 정치영역을 파괴하는 활동이다. 권위주의적이라는 점에서 반민주적인 동시에 “조직적인 고독”이고, 서로에 대한 신뢰의 파괴이며, 진실 및 사실에 대한 믿음의 약화이기도 하다. 이러한 관점에서 기술에 관한 문제를 다음과 같이 반드시 다시 물어야 한다. 인공지능 같은 현대사회의 기술이 전체주의의 조건의 원인이 되고, 또 그렇게 될 가능성이 있는가? 원인이 된다면, 그 이유는 무엇인가?
--- p.169

“데이터 식민주의”는 인공지능과 권력에 대한 비판적 시각을 취하는 것과 관련해서, 인공지능을 통한 인간의 삶과 착취가 비판이론의 관점에서 용납될 수 없음을 표현하는 데 사용되는 또 다른 용어이다. 이로 인해 식민주의 역사를 통해서도 데이터의 독점을 이해할 수 있다. 즉, 과거 식민주의가 특정 국가와 기업이 영리를 목적으로 식민지의 영토와 자원을 독점했듯이, 데이터 식민주의는 데이터의 독점을 통해 인간을 착취한다는 것이다. 2장에서 살펴봤듯이, 식민주의는 인공지능과 편향에 관한 논의에서도 소환된다.
--- p.203

나는 파르비아이넨과 함께 안무 개념으로 인공지능과 로봇이 정치적 관심과 전략 상황에 활용된다고 주장한 적이 있다. 우리는 인공지능을 포함하고 있다는 휴먼노이드 로봇, 소피아와 함께하는 수행이 인공지능 정치학과 연결되어 있음을 주장했다. 다시 말해 소피아와 함께하는 수행은 한 민간 기업(핸슨 로보틱스)의 이익에만 보탬이 되는 게 아니라, 관련 기술과 이 기술과 연관되는 시장까지 확장하려는 사람들의 이익에도 부합한다.” 이를 ‘권력’이라는 용어를 사용하여 다음과 같이 표현할 수도 있다.
--- p.232

비인간중심주의 인공지능의 정치학이 기술 중심에서 멀어지면, 이런 태도와 일하는 방식을 문제 삼을 수 있다. 인간과 관련된 모든 문제의 해결책을 인공지능에 질문한다는 의미일 것이다. 또 적어도 인공지능과 데이터 과학을 통해 통제력을 높이기보다는, 행성에 대한 우리의 통제를 느슨하게 하는 아이디어를 고려한다는 의미일 것이다. 일단 기술해결주의 또는 부르사드 말하는 “기술우월주의”, 즉 기술이 항상 해결책이라는 믿음에 의문을 제기하면, 더 이상 우리는 인공지능을 인간의 모든 문제에 대한 마법의 해결책으로 보지 않고 인간과 비인간을 위해 인공지능이 어디까지 할 수 있는지 그 한계에 더 주목하게 될 것이다.