민주주의가 제대로 작동하려면 첫 번째 중요한 쟁점에 대해 자유롭고 공개적으로 토론할 수 있어야 한다. 두 번째 사회 질서와 제도에 대한 신뢰가 어느 정도 유지되어야 한다. 공개 토론은 정해진 규칙에 따라 진행되어야 하며 모두가 동의하지 않을 때에도 어떤 종류의 최종 결정을 도출할 합법적 장치가 있어야 한다.

인간의 의사결정과 알고리즘의 의사결정의 차이인간의 의사결정은 우리가 의식하는 몇 가지 데이터 포인트에만 의존하는 것처럼 보이지만 실제는 수천 개의 무의식적 영향을 받은 결정인 것이다.예를 들어 인간판사의 결정이 오직 공정한 고려에 의해서만 이루어졌을까? 무의식적인 종편견 판사가 배고팠다는 사실은 영향을 끼치지 않았다는 사실을 어떻게 확신할 수 있는가?알고리즘의 의사결정은 원리상 알고리즘이 고려하는 수많은 요인들 전부 와 각각 요인에 부여된 가중치를 정확히 알 수 있다.

인간의 삶은 자기 개선 노력과 자기 수용 사이에 균형 잡기 다.

인간 개개인은 자신과 세상에 대한 진실을 추구하는 경향이 있어도, 대규모 네트워크는 허구와 환상에 의존하여 사회 구성원들을 묶고 질서를 유지한다.

우리가 지혜로운 사람이라면 우리는 왜 이토록 자기파괴적일까?이 책에서 나는 그것은 인간 본성 탓이 아니라 정보 네트워크탓 이라고 주장했다. 진실보다 질서를 우선시한 탓에 인간의 정보 네 트워크들은 엄청난 힘을 만들어냈지만 지혜는 거의 만들어내지 못 했다. 예를 들어 나치 독일은 고도로 효율적인 군사 기계를 만들어 냈지만 그것을 비상식적인 신화를 위해 사용했다. 그 결과 수천만 명이 죽는 엄청난 규모의 비극이 일어났으며, 결국 나치 독일도 패망했다.

가끔 주변 사람들이 너를 들에 가두고, 되고 싶지 않은 사람 되라고 강요한다고 느낄 때도 있지

AI와 온라인 정치 토론을 한다면, AI의 의견을 바꾸려고 시도하는 것은 시간 낭비다. AI는 의식이 없는 존재라서 정치에는 실제로 관심이 없을뿐더러 투표할 수도 없기 때문이다. 하지만 AI와 대화를 더 많이 나눌수록 AI는 우리를 더 잘 알게 될 것이고, 그럴수록 우리의 신뢰를 얻고 자신의 주장을 연마 하여 결국에는 우리의 견해를 바꿀 수도 있을 것이다. 사람들의 가슴과 머리를 사로잡아야 하는 싸움에서 친밀감은 매우 강력한 무기다. 기존의 정당은 우리의 관심을 끌 수 있어도 친밀감을 대량 생산 할 수는 없었다. 라디오는 지도자의 연설을 수백만 명에게 들려줄 수 있어도 청취자와 친구가 될 수는 없었다. 하지만 이제부터는 정당이나 외국 정부가 봇 군단을 배치하여 수백만 명의 시민과 친밀감을 쌓고 그 친밀감을 이용해 시민들의 세계관에 영향을 미칠 수 있을 것이다.

사회가 점점 더 많은 결정을 컴퓨터에 맡길수록 민주주의의 자정 기능, 투명성, 책임성이 약화된다. 선출직 공무원이 자신이 이해할 수도 없는 알고리즘을 어떻게 통제할 수 있겠는가? 이에 따라 '설 명을 요구할 권리'라는 새로운 인권을 성문화하라는 요구가 높아지고 있다. 2018년 발효된 유럽연합의 일반 데이터 보호 규정 General Data Protection Regulation, GDPR은, 알고리즘이 한 인간에 대한 결정을 내릴 경우(예를 들어 신용 연장을 거부하는 것) 해당인은 결정에 대해 설명 을 듣고 인간이 운영하는 기관에 이의를 제기할 권리가 있다고 명시한다. 이상적으로는 이렇게 하면 알고리즘의 편향이 최소화되고, 민주주의의 자정 장치(시민, 법원, 언론, 시민 단체 등의 참여와 감시- 옮긴이)를 통해 컴퓨터의 중대한 실수 중 적어도 일부를 찾아내어 바로잡을 수 있을 것이다.하지만 이런 권리가 실제로 이행될 수 있을까?

... 민주주의 원리는 상호주의다. 민주주의 국가가 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 감시도 동시에 강화해야..... 나쁜 것은 모든 정보가 한 방향, 즉 아래에서 위로만 흘러가는 것이다... 아마존과 틱톡은 나의 선호, 구매 내역, 성격에 대해 잘 알고 있는 반면, 나는 그들의 사업 모델, 세금 정책, 정치적 성향에 대해 거의 모른다. 아마존과 틱톡은 어떤 방법으로 돈을 벌까? 내야 하는 세금을 모두 낼까? 혹시 높은 정치인의 명령을 받지는 않을까? 정치인을 매수하지는 않을까? . 민주주의에는 균형이 필수다. 정부와 기업은 종종 하향식 감시 도구로 쓰기 위해 앱과 알고리즘을 개발한다. 하지만 알고리즘은 강력한 상향식 도구도 될 수 있다. 시민들은 알고리즘을 통해 정부 감시하여 와 기업이 뇌물 수수나 탈세 등의 부정행위를 저지르는지 책임을 물을 수 있다. 그들이 우리에 대해 많은 것을 알지만 동시에 우리도 그들에 대해 많은 것을 알 때 균형이 맞춰진다. ...구글과 틱톡은 우리의 개인 정보를 활용해 돈을 번다. 이것은 우리가 다른 상황에서라면 용납하지 않을 문제 있는 사업 모델이다. 예를 들어, 우리는 나이키에 우리의 개인 정보를 제공하며 나이키가 그 정보를 마음대로 사용하도록 허락하고 그 대가로 나이키 신발을 공짜로 얻기를 기대하지 않는다. 그렇다면 왜 우리는 가장 민감한 데이터를 넘겨 주고 그 대가로 기술 기업으로부터 이메일 서비스, SNS 엔터테인먼트를 무료로 제공받는 것에 동의해야 할까?만일 기술 기업들이 현재의 사업 모델로 수탁 의무를 지킬 수 없다면, 입법을 통해 이들 기업이 정보가 아닌 돈으로 서비스 비용을 지불받는 더 전통적인 사업 모델로 전환하도록 요구할 수 있다. 아니면 일부 디지털 서비스는 너무 기본적인 것이라서 모두에게 무료로 제공..의료와 교육처럼..(440p)

... 수많은 연구는 컴퓨터도 대개 뿌리 깊은 자체 편향을 가지고 있다는 사실을 보여주었다. 컴퓨터는 생물학적 존재가 아니며 의식도 없지만, 디지털 마음과 비슷한 무언가를 가지고 있으며, 심지어는 일종의 상호 컴퓨터 신화도 가지고 있다. 컴퓨 터들도 얼마든지 인종차별주의자, 여성 혐오자, 동성애 혐오자, 반유대주의자일 수 있다. 예를 들어 2016년 3월 23일 마이크로 소프트사가 AI 챗봇 테이Tay를 출시하고 트위터에 자유롭게 접근할 수 있게 했다. 그러자 몇 시간 내에 테이는 여성 혐오적이고 반유대 주의적인 트윗을 올리기 시작했다. 예를 들어 "나는 페미니스트가 존나 싫어. 걔네들은 모두 죽어서 지옥 불에 떨어져야 해" "히틀러가 옳았어. 나는 유대인을 극혐해"와 같은 내용이었다. 독설의 수위는 점점 높아졌고, 결국 기겁한 마이크로소프트 개발자들이 테이를 종료했다. 출시된 지 겨우 열여섯 시간 만이었다.