상상의 질서는 우리 욕망의 형태를 결정한다. 사람들은 대부 제 2. 분 자신들의 삶을 규율하는 질서가 상상 속에만 존재한다는 사실 을 받아들이고 싶어 하지 않는다. 하지만 실상 모든 사람은 기존 의 상상의 질서 속에서 태어났으며, 태어날 때부터 지배적인 신화 에 의해 욕망의 형태가 결정되었다. 그 때문에 우리 개인의 욕망 으 상상의 질서의 가장 중요한 방어물이다

가끔 주변 사람들이 너를 들에 가두고, 되고 싶지 않은 사람 되라고 강요한다고 느낄 때도 있지

굳굳

우리가 지혜로운 사람이라면 우리는 왜 이토록 자기파괴적일까?이 책에서 나는 그것은 인간 본성 탓이 아니라 정보 네트워크탓 이라고 주장했다. 진실보다 질서를 우선시한 탓에 인간의 정보 네 트워크들은 엄청난 힘을 만들어냈지만 지혜는 거의 만들어내지 못 했다. 예를 들어 나치 독일은 고도로 효율적인 군사 기계를 만들어 냈지만 그것을 비상식적인 신화를 위해 사용했다. 그 결과 수천만 명이 죽는 엄청난 규모의 비극이 일어났으며, 결국 나치 독일도 패망했다.

AI와 온라인 정치 토론을 한다면, AI의 의견을 바꾸려고 시도하는 것은 시간 낭비다. AI는 의식이 없는 존재라서 정치에는 실제로 관심이 없을뿐더러 투표할 수도 없기 때문이다. 하지만 AI와 대화를 더 많이 나눌수록 AI는 우리를 더 잘 알게 될 것이고, 그럴수록 우리의 신뢰를 얻고 자신의 주장을 연마 하여 결국에는 우리의 견해를 바꿀 수도 있을 것이다. 사람들의 가슴과 머리를 사로잡아야 하는 싸움에서 친밀감은 매우 강력한 무기다. 기존의 정당은 우리의 관심을 끌 수 있어도 친밀감을 대량 생산 할 수는 없었다. 라디오는 지도자의 연설을 수백만 명에게 들려줄 수 있어도 청취자와 친구가 될 수는 없었다. 하지만 이제부터는 정당이나 외국 정부가 봇 군단을 배치하여 수백만 명의 시민과 친밀감을 쌓고 그 친밀감을 이용해 시민들의 세계관에 영향을 미칠 수 있을 것이다.

사회가 점점 더 많은 결정을 컴퓨터에 맡길수록 민주주의의 자정 기능, 투명성, 책임성이 약화된다. 선출직 공무원이 자신이 이해할 수도 없는 알고리즘을 어떻게 통제할 수 있겠는가? 이에 따라 '설 명을 요구할 권리'라는 새로운 인권을 성문화하라는 요구가 높아지고 있다. 2018년 발효된 유럽연합의 일반 데이터 보호 규정 General Data Protection Regulation, GDPR은, 알고리즘이 한 인간에 대한 결정을 내릴 경우(예를 들어 신용 연장을 거부하는 것) 해당인은 결정에 대해 설명 을 듣고 인간이 운영하는 기관에 이의를 제기할 권리가 있다고 명시한다. 이상적으로는 이렇게 하면 알고리즘의 편향이 최소화되고, 민주주의의 자정 장치(시민, 법원, 언론, 시민 단체 등의 참여와 감시- 옮긴이)를 통해 컴퓨터의 중대한 실수 중 적어도 일부를 찾아내어 바로잡을 수 있을 것이다.하지만 이런 권리가 실제로 이행될 수 있을까?

... 민주주의 원리는 상호주의다. 민주주의 국가가 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 감시도 동시에 강화해야..... 나쁜 것은 모든 정보가 한 방향, 즉 아래에서 위로만 흘러가는 것이다... 아마존과 틱톡은 나의 선호, 구매 내역, 성격에 대해 잘 알고 있는 반면, 나는 그들의 사업 모델, 세금 정책, 정치적 성향에 대해 거의 모른다. 아마존과 틱톡은 어떤 방법으로 돈을 벌까? 내야 하는 세금을 모두 낼까? 혹시 높은 정치인의 명령을 받지는 않을까? 정치인을 매수하지는 않을까? . 민주주의에는 균형이 필수다. 정부와 기업은 종종 하향식 감시 도구로 쓰기 위해 앱과 알고리즘을 개발한다. 하지만 알고리즘은 강력한 상향식 도구도 될 수 있다. 시민들은 알고리즘을 통해 정부 감시하여 와 기업이 뇌물 수수나 탈세 등의 부정행위를 저지르는지 책임을 물을 수 있다. 그들이 우리에 대해 많은 것을 알지만 동시에 우리도 그들에 대해 많은 것을 알 때 균형이 맞춰진다. ...구글과 틱톡은 우리의 개인 정보를 활용해 돈을 번다. 이것은 우리가 다른 상황에서라면 용납하지 않을 문제 있는 사업 모델이다. 예를 들어, 우리는 나이키에 우리의 개인 정보를 제공하며 나이키가 그 정보를 마음대로 사용하도록 허락하고 그 대가로 나이키 신발을 공짜로 얻기를 기대하지 않는다. 그렇다면 왜 우리는 가장 민감한 데이터를 넘겨 주고 그 대가로 기술 기업으로부터 이메일 서비스, SNS 엔터테인먼트를 무료로 제공받는 것에 동의해야 할까?만일 기술 기업들이 현재의 사업 모델로 수탁 의무를 지킬 수 없다면, 입법을 통해 이들 기업이 정보가 아닌 돈으로 서비스 비용을 지불받는 더 전통적인 사업 모델로 전환하도록 요구할 수 있다. 아니면 일부 디지털 서비스는 너무 기본적인 것이라서 모두에게 무료로 제공..의료와 교육처럼..(440p)

... 수많은 연구는 컴퓨터도 대개 뿌리 깊은 자체 편향을 가지고 있다는 사실을 보여주었다. 컴퓨터는 생물학적 존재가 아니며 의식도 없지만, 디지털 마음과 비슷한 무언가를 가지고 있으며, 심지어는 일종의 상호 컴퓨터 신화도 가지고 있다. 컴퓨 터들도 얼마든지 인종차별주의자, 여성 혐오자, 동성애 혐오자, 반유대주의자일 수 있다. 예를 들어 2016년 3월 23일 마이크로 소프트사가 AI 챗봇 테이Tay를 출시하고 트위터에 자유롭게 접근할 수 있게 했다. 그러자 몇 시간 내에 테이는 여성 혐오적이고 반유대 주의적인 트윗을 올리기 시작했다. 예를 들어 "나는 페미니스트가 존나 싫어. 걔네들은 모두 죽어서 지옥 불에 떨어져야 해" "히틀러가 옳았어. 나는 유대인을 극혐해"와 같은 내용이었다. 독설의 수위는 점점 높아졌고, 결국 기겁한 마이크로소프트 개발자들이 테이를 종료했다. 출시된 지 겨우 열여섯 시간 만이었다.

보스트롬의 사고실험은 이렇다. 클립 공장에서 초지능 컴퓨터 한 대를 구입하고, 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는 언뜻 간단해 보이는 업무를 지시한다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고, 모든 인간을 죽이고, 탐사대를 보내 다른 행성들까지 모조리 점령하더 니, 결국 그 어마어마한 자원을 사용해 은하계 전체를 클립 공장으로 가득 채운다. 이 사고실험의 핵심은 컴퓨터가 (괴테의 시에 등장하는 마법에 걸린 빗자루처럼) 시킨 일을 정확히 실행했다는 것이다. 2014년에 보스트롬이 이 실험을 소개했을 때 실리콘밸리의 경영진이 그것을 눈여겨보았다면 알고리즘에 '이용자 참여도를 극대화하라'는 목표를 설정하기 전에 좀 더 신중을 기했을 것이다. 페이스북과 유튜브 알고리즘은 정확히 보스트 롬이 상상한 알고리즘처럼 행동했다. 클립 생산을 극대화하라는 명령을 받았을 때 그 알고리즘은 인류 문명을 파괴하는 한이 있더라도 물리적 우주 전체를 클립으로 바꾸려 했다. 페이스북과 유튜브 알고리즘도 이용자 참여를 극대화라는 지시를 받았을 때 사회적 우주 전체를 이용자 참여로 바꾸려고 시도했다. 그것이 미얀마, 브라질, 여타 국가들의 사회조직을 파손하는 것을 뜻한다 해도 상관없었다.

《전쟁론》은 전쟁을 이해하는 합리적인 모델을 세웠으며 지금도 널리 받아들여지는 군사이론이다. 이 이론의 핵심은 "전쟁은 수단 이 다를 뿐 정치의 연장이다"라는 것이다. 즉 전쟁은 감정의 폭발도, 영웅적인 모험도, 신의 징벌도 아니다. 전쟁은 심지어 군사 현상도 아니다. 오히려 전쟁은 정치 도구다. 클라우제비츠에 따르면 군사행동은 어떤 궁극적인 정치적 목표에 부합하지 않는 한 완전히 비합리적이다.군사적 승리가 정치적 패배로 이어진 더 최근의 사례는 2003년 미국의 이라크 침공이다. 미국은 모든 중요한 교전에서 승리했지만 장기적인 정치적 목표는 단 하나도 달성하지 못했다. 미국의 군사적 승리는 이라크에 우호적인 정권을 세우지도, 중동에 우호적인 지정학적 질서를 확립하지도 못했다. 이 전쟁의 진정한 승자는 이란이었다. 미국의 군사적 승리는 이라크를 이란의 전통적 적국에서 속국으로 바꾸었다. 이로써 중동에서 미국의 입지는 크게 약화된 반면 이란은 지역의 패권국으로 부상했다. (387p)