이 책은 인공 지능이 우리의 자아상을 어떻게 바꾸고, 우리의 자기실현에 장차 어떤 영향을 끼칠지 묻는 철학자의 에세이다.
---「첫 문장」중에서
코로나 바이러스를 통해 테크노토피아의 단잠에서 깨어나면서, 희망은 무작정 위로 치닫는 발전에 있는 것이 아니라 어쩌면 그 상승을 막는 것에 있을지도 모른다는 것을 깨달았다. 팽창은 그 자체로 결코 가치가 아니다. 감속만이 안전감을 높일 수 있다. 인공 지능은 우리에게 무엇을 해야 하는지 가르쳐 주지 않고, 디지털 기기는 삶의 실존적 위험으로부터 우리를 지켜 주지 못한다.
--- p.11
눈덩이처럼 커지는 기후 위기와 가속화되는 생태적 재앙의 시대에 많은 징후가 바뀌었다. 우리는 더는 과거에 그랬던 것처럼 미래를 말하지 못한다. 테크놀로지의 역할에 대해서도 마찬가지다. 과학 기술의 역사는 우리 인간을 배려하지 않는 자연에 맞서 싸운 호모 사피엔스의 성공사였다. 이제 우리 인간이 자연을 배려해야 할 상황이 된 것은 매우 현대적인 경험이다.
--- p.16
보스트롬은 〈지능 폭발이 전 세계를 화염에 휩싸이게 할 거〉라고 염려한다. 하지만 실제로 그런 일이 일어나는 것에 굳이 인간에게 반기를 드는 나쁜 인공 지능까지 끌어들일 필요는 없어 보인다. 향후 몇십 년 안에 인류를 몰락의 위험에 빠뜨릴 요소는 탈선한 나쁜 컴퓨터 말고도 많다.
--- p.25
〈인공 지능은 《생각》이 필요한 영역에서는 이미 인간을 훌쩍 뛰어넘었지만, 인간이나 동물이 《아무 생각 없이》 하는 일에서는 아직 한참 멀었다. 사실 그게 한층 더 어려운 일이다.〉
--- p.31
인간 지능 속에는 감정과 직관, 자발성, 연상이 스며들어 있다. 〈건강한 인간 오성Common Sense〉은 합리성과 동의어가 아니다. 여기선 공감 능력도 합리성만큼이나 중요하다. 인간은 인공 지능 연구자들이 생각하는 것보다 훨씬 덜 논리적으로 사고한다. 아니, 논리적일 때가 드물다. 인간성을 이루는 것은 결코 논리적 사고가 아니다.
--- p.32
오늘날 점점 성능이 좋은 인공 지능을 대량으로 투입시키려는 동력을 이해하려면, 자본주의의 발전 과정을 돌아보아야 한다.
--- p.50
디지털화를 다룬 대부분의 책에서는 자본주의와 자본주의적 규제가 거의 언급되지 않는다. 디지털화가 마치 자연 현상인 것처럼 인간의 성취를 서술할 따름이다. 그러나 인공 지능의 발전을 이끄는 것은 앎에 대한 동경도 아니고 자연법칙도 아닌, 경제적 과정이다. 즉 인공 지능을 활용해 세계와 인간 속으로 깊이 침투하려는 목적은 인간의 삶을 개선하는 것이 아니라 이윤을 증대하는 것이다.
--- p.57
종교 재판소, 스탈린주의, 기관총은 개발될 당시에는 의심의 여지없이 지극히 혁신적이었다. 그렇다고 그게 진보일까? 무언가를 진보라고 평가하는 것은 말 그대로 하나의 평가일 뿐이다. 파시즘과 스탈린주의는 스스로를 명명백백하게 진보적인 것으로 보았다. 그것도 천년 동안 지속될 인류의 미래 또는 역사의 종착점으로서 말이다. 하지만 오늘날 대부분의 사람은 다르게 본다. 당시에 아무리 새로웠다고 해도 휴머니즘의 파괴는 결코 진보가 아니라는 것이다.
--- p.58
오늘날 우리가 알고 있는 인간은 해결이나 구원이 필요한 문제 덩어리가 아니다. 만일 그런 인간을 획기적으로 바꾼다면 얻는 것보다 잃는 것이 훨씬 많다. 왜냐하면 그것을 시도하는 트랜스휴머니즘적 또는 포스트휴머니즘적 혁명은 인간의 본질을 이루는 요소, 즉 인간성을 감소시킬 게 분명하기 때문이다. 완전화와 냉정한 합리성, 그리고 막대한 정보의 신속한 처리는 정말 놀라운 일이기는 하지만, 그것이 인간을 원칙적으로 행복하게 해주고 인생에 의미를 부여할지는 아무리 신중하게 생각해도 개연성이 없어 보인다.
--- p.85
인간은 진화하기 위해 아무 의지 없이 끌려가는 존재가 아니다. 일반적으로 인간에게 중요한 것은 〈최적화〉가 아니라 만족한 삶이다. 합리성, 효율성, 진보는 생물학적 자연법칙이 아니고, 〈그 자체로 가치〉가 있는 것이 아니다. 이것들은 인간 존엄성, 정의, 자유 같은 가치와 비교하면 당연히 하위에 그칠 수밖에 없다.
--- p.126
지능은 권력 장악의 욕망을 일으키는 촉발제가 아니다. 지능을 이용해 이 목표에 도달하려면 먼저 그렇게 하겠다는 욕망이 있어야 한다. 만에 하나 초지능이 무언가를 욕망한다고 하더라도, 그게 무엇인지는 인간의 머리로는 도무지 상상이 안 간다. 우리에게는 너무 낯설 것이 분명하기 때문이다. 초지능이 미세하게나마 인간적 특성을 보인다고 해서 권력을 욕망의 목표로 삼아야 할까?
--- p.141
기계가 문제를 해결하는 방식은 일반적이다. 즉 투명하고 전이가 가능하다. 반면에 기계의 지능은 특수하다. 다시 말해 정선된 목표 기능으로 제한된다. 인간은 정반대다. 인간의 문제 해결 패턴과 전략은 무척 개인적이다. 즉 모든 뇌는 각각 다르게 생각한다. 한편 인간의 지능은 보편적이다. 굉장히 유연하고 모든 가능한 영역에 적용 가능하다. 인생은 디지털이 아니고, 흑백이 아니고, 1과 0으로 이루어진 것도 아니다.
--- p.157~158
도덕에서 본질적으로 자율성이 중요하다는 사실은 잘 알려져 있다. 자유롭고 독자적으로 행동할 수 없는 사람은 도덕적 결정도 내릴 수 없다. 위원회의 철학자들은 〈인공 지능 시스템이 윤리적으로 행동하기 위해 칸트적 의미에서〉 얼마만큼의 〈자율성을 가질〉 수 있는지에 대해 고민하는 모양이다. 솔직히 답하면 그건 당연히 불가능하다. 인간과는 달리 명확한 목표에 따라 프로그램화된 존재는 결코 자율성을 가질 수 없다. 컴퓨터 프로그램은 자율적으로 움직이는 것이 아니라 프로그래밍에 종속되는 게 본질이다.
--- p.178
자동차에 윤리적 프로그래밍이 이루어져야만 완전 자율 주행이 가능하다는 생각도 순진하기 그지없다. 꼭 그래야 할 이유가 없다. 만일 브레이크를 밟을 수 없을 만큼 순식간에 사람이 차도에 나타나는 끔찍한 상황이 발생하면 운전자는 어떻게 할까? 순간적으로 도덕적 결정을 내릴까? 그럴 리 없다. 대신 반사적으로 행동할 가능성이 높다.
--- p.209
한편으로 인공 지능은 일하는 사람을 〈프로세스의 노예〉로 만들 잠재력이 있지만, 다른 한편으론 그다지 의미 없는 노동에서 인간을 해방시킬 막대한 자유의 잠재력도 있다. AI의 투입이 빈부 격차를 가속화하고 수백만 명의 낙오자를 양산할지, 아니면 다른 사회 보장 제도와 다양한 사회적 인정 시스템을 갖춘 완전히 새로운 활동 사회를 만들어 낼지는 프로그래머가 아닌 정치인의 손에 달려 있다.
--- p.258