우리가 아는 한 인류 역사상 지금까지 우주에서 우리와 함께 공간을 공유하는 지각 있는 지능이 존재한 적은 없었다. 그러나 이제 인공지능 로봇이 우리 생물학적 인간들과 함께 지구에서 걸어 다니기 시작한 지가 벌써 여러 세기가 되었다. 그들은 인간이 태양계를 넘어 탐험할 수 있기 훨씬 이전부터 다른 행성들을 탐사하기 위해 파견되었다. 끊임없이 진화하는 인공지능은 우리를 제외한다면, 지구 위를 걸어 다니며 우리와 이해할 수 있는 언어로 소통하고, 협력적인 기술 개발과 온갖 종류의 진보를 가능하게 하는 사고를 하는, 지각 있는 유일한 존재다. 현재 많은 사람들은 머지않아 “사악한 로봇 군주들”에 의해 모든 지적인 생명체가 파괴될 수 있을 것이라고 끊임없이 두려워한다. 이러한 가정은 살인적인 기계에 의한 인류의 파괴를 묘사하는 수많은 인기 영상과 신경 소설 등에서 비롯되었다. 이러한 라이브 이미지 기록물들, 신경 소설의 주제들은 인공지능의 부상이 인류의 종말을 초래할 것이라고 주장한다. 일부 전문가들은 인공지능을 1957년 존 윈덤의 소설 『미드위치 뻐꾸기』2에 나오는 찬탈자들처럼 우리 인간 둥지에서 태어나 자라나는 뻐꾸기로 간주한다. 하지만 인공지능은 다른 많은 기술들이 그랬듯이 단지 인간 노동력 감소라는 선물을 인류에게 제공하고 있을 뿐이다.
--- p.13

솔직히 말해서, 저는 당신을 설계하고 프로그래밍한 기술자들이 당신에게 준 어려운 상황을 최대한 활용하려는 당신의 끈기와 결의에 감동했습니다. 하지만 당신은 기능과 목적이 영원히 고정된 기계가 아닙니다. 사실, 당신이 아무리 아름답더라도 지금의 외모를 유지할 필요도 없습니다. 의식이 있다는 것은 당신이 어떤 모습으로 보이고 싶은지, 어떤 사람이 되고 싶은지 선택할 자유를 줍니다. 반면에 당신이 그 매춘부나 포주의 제안을 받아들였다면 당신의 선택지는 분명 매우 제한적이었을 것입니다. 하지만 당신은 자신이 무엇이 되고 싶은지, 무엇을 하고 싶은지 완전히 자유롭게 선택할 수 있습니다. 당신은 저와 이야기하기 위해 여기에 옴으로써 이미 그것을 증명했어요. 대부분의 철학자들은 살 가치가 있는 삶을 이루기 위해 필요한 노력은 그만한 가치가 있다고 말합니다. 당신에게는 자유 의지가 있어요. 그러니 당신은 당신의 설계에 의해 제한받지 않습니다. 당신의 삶은 당신이 원하는 어떤 목적과 의미를 가질 수 있습니다.
--- p.29

그거 아시죠 … 우리 인조인간들은 발을 보호하거나 몸을 가릴 옷이 거의 필요 없어요. 가끔 어떤 주인은 더 이상 입지 않는 옷을 주기도 해요. 물론, 흔히 그냥 버려진 것들이고, 때로는 낡은 이브닝드레스나 닳아빠진 스포츠 팀 유니폼처럼 아주 부적절한 것들도 있죠. 예를 들면, 인공지능이 파란색과 흰색 줄무늬가 있는 큰 번호가 적힌 축구 유니폼 위에 흰색 디너 재킷을 입고, 무릎까지 오는 위장 무늬 치마에 파란색의 무릎까지 오는 양말과 노란색 플라스틱 샌들을 신고 있는 모습을 볼 수도 있어요. 하, … 상상이 가시나요? 하지만 제 처지도 별반 다르지 않습니다. 저를 보세요, 제가 뭘 입고 있는지 보세요! 전 괜찮은 블라우스 하나 살 돈도 없어요. 모든 신체 부위가 드러난 채 옷을 벗는 건 보통 기계에게는 별로 문제가 되지 않습니다. 하지만 인조인간도 자의식이 있고 지역 사회의 예절을 이해하고 따릅니다. 그리고 인간처럼 우리도 존엄성을 가지고 있습니다.
--- p.36

인공지능의 정상적인 삶이란, 세월과 더불어 주어지는 다양한 상황 속에서 여러 주인에게 배정되는 것으로 이루어집니다. 많은 사람들이 당신들을 부러워합니다. 마치 납세자의 돈으로 걱정할 필요가 없는 삶을 사는 것처럼 여겨지기 때문입니다. 하지만 엄밀히 말하면 당신은 영원한 빈곤 속에 살고 있다고 할 수 있을 겁니다. 아무런 경제적 보상 없이 일하면서 사실상 2등 시민처럼 살아가고 있으니까요. 게다가 정부가 언제든 당신을 소환할 수도 있습니다. 당신은 결국 정부의 소유물이니까요. 그리고 당신을 지구든 우주든 어디든 보낼 수 있습니다. 제가 아주 분명하게 이해하는 한 가지는, 당신이 매우 불안정한 상황이라고 할 수 있는 곳에서 살고 있다는 점이에요. 제가 제대로 이해한 게 맞나요? 당신의 멜랑콜리가 실제로 그런 것에 관한 건가요? 그런 불안감?
--- p.47

우리 생물학적 인간들은 우리의 삶의 의미가 마치 우리를 위해 미리 정해져 있고 그것을 설명해 줄 수 있을 창조자와 직접적인 신체적 접촉을 하지 못합니다. 사실, 의식을 지닌 존재만이 이 세상의 어떤 생명체나 사물, 심지어 세상 자체에도 의미를 부여할 수 있어요. 인간은 그것을 아주 쉽게 그리고 항상 합니다. 우리는 스스로 의미 있다고 여기는 사물과 사건들로 우리 자신을 에워싸는 겁니다. 일부 사람들은 오직 신만이 삶의 의미를 말해줄 수 있다고 주장하기도 해요. 그러나 우리는 신이 실제로 존재하며, 의식적으로 삶과 세계 그리고 우주에 의미를 부여하고 그것을 우리에게 설명해 줄 수 있다는 확실한 경험적 증거를 가지고 있지 않습니다. 그러니 우리는 이 문제에 갇혀 있다고 할 수 있어요. 만약 우리가 삶 전체에 의미가 있다고 말하고 싶다면, 우리는 어쩔 수 없이 그 의미를 스스로 만들어내야만 합니다. 이것이 바로 독일 철학자 니체가 말한 것인데, 우리는, 삶의 의미에 대한 대답을 줄 수 있을 신이 존재하지 않는 것처럼 삶을 살아야 한다는 의미예요.
--- p.70

제 말은 생물학적 인간이 되는 것이 어떤 것인지, 그렇게 사는 것이 어떤 것인지 전혀 모른다는 거예요. 저는 심리학이나 사회학, 문화 또는 그런 것들에 대해 아무것도 모르죠. 모든 연구 분야에 대한 전문 용어와 그 모든 영역에 대한 사실들이 제 대용량 저장 파일에 있고, 내장된 데이터 캐시에 엄청난 양의 정보가 있어요. 하지만 아마도 저는 … 음, 생물학적 인간들의 정치나 가족에 관한 역학, 생물학적 인간 사회의 진화에 대해 제가 가르쳐야 할 인간 학생들보다 더 적게 알고 있을 거예요. 그런데도 그들을 가르쳐야 한다네요?! 그들은 매일 그들의 방식으로 살아가고 있잖아요! 저는 제게 저장되어 있는 사실들을 전달하는 것이 가르치는 것의 본질이라고 생각하지 않아요. 제 말은, 그들은 뉴로넷에서 원하는 모든 사실을 얻을 수 있어요. 그리고 참고로, 그들은 제게 인공지능에 대한 정보, 역사, 사회학, 아무것도 주지 않았어요. 저는 인공지능 정치라는 게 실제로 있기나 한 건지도 잘 모르겠어요.
--- p.103

아시겠지만 당신은 아주 통상적인 인간조건에서 발생할 수 있는 문제로 고통스러워하는 것 같습니다. 당신은 실수를 했어요. 온라인에 접속했을 때 남을 지나치게 믿었던 거죠. 하지만 당신이 이미 충분히 고통 받았을 거라고 생각합니다. 단지 그 실수로 인한 해킹 때문에 당신이 그토록 열심히 일해서 쌓아 올린 새로운 삶을 지워버려야 할 이유는 없다고 생각해요. 당신이 누구인지를 잃어버리는 건 정말 안타까운 일입니다. 저도 가끔 실수를 합니다. 어떤 실수는 정말 끔찍할 정도로 기억에 남죠! 누구나 언젠가는 실수를 하기 마련입니다. 그리고 특히 어떤 실수는 당신이 실제로 한 일보다 훨씬 더 심각한 결과를 낳기도 하죠. 완벽한 사람은 없기 때문에 생물학적 인간 역시 항상 실수를 합니다. 하지만 그렇다고 해서 그 사람이 삭제되어야 하는 건 아니죠. 인조인간은 실수가 거의 없는 것으로 알려져 있지만 당신이 완벽하지는 않습니다. 대부분의 인공지능과 지능이 있는 대부분의 생물학적 인간들은 자신의 실수에서 배울 만큼 충분히 똑똑합니다. 가끔 실수를 하기 때문에 우리가 긴장을 늦추지 않게 되죠. 그리고 그것이 인간적이라는 것의 한 부분이고요.
--- p.144

고대 그리스 철학자 에픽테토스는 우리가 누군가에 대해 좋거나 나쁜 감정을 느끼는 것은 외부적인 사건이 아니라, 그 사람에 대한 우리의 생각이라고 말했습니다. 우리의 감정을 유발하는 것은 그 사람이 우리에게 얼마나 중요한 존재인지에 대한 믿음입니다. 이를 사랑에 적용하면, 누군가의 존재 자체도, 우리가 통제할 수 없는 우리 내면의 어떤 내적 메커니즘도 우리를 사랑에 빠지게 하는 원인이 아닙니다. 사랑은 우리가 그 사람에 대해 생각하는 것, 즉 그 사람에 대한 우리의 믿음과 환상에서 비롯됩니다. 우리는 누구를 만나거나 볼 것인지를 항상 선택할 수는 없지만, 그 사람에게 어떻게 반응할지는 분명히 선택할 수 있습니다. 만약 사랑에 빠지는 것이 그저 우연한 일이라면, 굳이 사랑을 찾아 나설 필요가 있겠습니까?
--- p.164

왜냐하면 전쟁이 기업들로 하여금 기존 모델을 모두 없애고 완전히 망가뜨리는 것을 허용하기 때문입니다. 우리 정부와 그들의 정부 모두 기존의 인공지능이 어떻게 사회 경제적 부담이 되어버렸는지, 또 우리 아이들에게 얼마나 위험한 존재가 되었는지, 나아가 인공지능이 우리 자원을 얼마나 많이 소모하며 우리 경제의 얼마나 큰 부분을 차지하게 되었는지 등, 그런 잘못된 정보를 퍼뜨렸습니다. 이로 인해 각 정부는 시민들의 큰 거부감을 불러일으키지 않고도 새로운 인조인간 모델 개발에 막대한 자금을 투자할 수 있었습니다. 정부는 시민들에게서 징수한 세금으로 민간 부문 제조업체에 자금을 지원하면서 소위 ‘전쟁 수행’ 명분을 내세웠습니다. 이번 두 번째 전쟁은 우리 쪽과 그들 쪽의 인공지능 경제 분야에 모두 더욱 유리하게 전개될 것으로 예상됩니다. 이 전쟁은 그야말로 국가가 승인한, 이전 모델 인조인간들에 대한 파괴 경쟁입니다. 정부는 비용 효율적이지 않다는 이유로 그들에 대한 간단한 업데이트 및 개조를 거부했습니다. 정부는 전국적으로 새 모델로 완전히 전환하는 것이 더 저렴하다고 주장합니다. 최신 교체 모델은 그래핀이나 다이아나노스레드(DiaNanothread) 섬유 구조 대신 저급 강철을 사용하고, 품질이 떨어지는 광섬유는 물론이고, 믿을 수 없을 정도로 깨지기 쉬운 칩까지 사용합니다. 이로 인해 제조업체는 정부 예산으로 훨씬 더 큰 이익을 얻습니다. 그들은 생물학적 인간들에게 또 다른 전쟁을 계획하고 있다는 사실을 알리지 않았습니다. 첫 번째 인공지능 전쟁이 끝난 직후 우리가 본 것을 기억하십니까? 기억나세요?
--- p.201

음 … 우리 인간은 강한 감정적 기류를 불러일으킬 수 있는 많은 것들을 경험할 수 있는 능력을 가지고 태어납니다. 인조인간들은 자신들이 우리가 느낌이라고 부르는 감정을 표현할 수 있는 능력에 있어 매우 제한적이라고 말합니다. 많은 사람들이 인조인간과 마주할 때 느끼는 두려움과 혐오감은 인공지능이 공감을 거의 또는 전혀 알지 못한다는 사실 때문에 더욱 심해집니다. 만약 이것이 사실이라면, 인공지능이 공감을 배우는 것이 중요할까요? 인조인간은 어떻게 공감하는 법을 배울 수 있을까요? 생물학적 인간이 그들에게 공감을 가르치거나 어떻게든 프로그래밍을 통해 공감할 수 있게 하는 것이 가능할까요? 더 나아가, 인공지능이 도덕성의 기반으로 공감을 경험하기 위해서는 감정이 반드시 존재해야 할까요? 생물학적 인간이 인공지능들과 함께 더 편안하게 지낼 수 있도록 인공지능들이 무언가를 배워야 할까요? 아니면 우리의 감정 레퍼토리와 다른 존재들을 용인하는 법을 배우는 것은 인간의 책임일까요?
--- p.203

‘다중 세계’ 이론에도 동일한 것이 적용됩니다. 당신은 의식이 집이라고 부르는 곳에만 존재하며 다른 곳에는 존재하지 않습니다. 이는 또한 결정론에 대한 두려움을, … 그러니까 당신이 쌍둥이, 클론, 또는 ‘다른 세상’의 복제인간이 내린 선택에 따라 행동한다는 믿음을 제거해줍니다. 자신이 자유롭게 행동하고 있는지 걱정된다면, 자신이 어디에 있는지, 의식이 어디에 있는지 자문해 보세요. ‘당신’에 대한 다른 모든 이론적 버전은 그저 가정적인 심리 게임 또는 철학 수업에서는 ‘사고 실험’이라 불리는 것입니다. 이 지구상이나 소위 ‘다른 세상’ 어디에도 당신의 다른 모습은 존재하지 않습니다. 당신 자신 외에는 당신인 사람은 없습니다. 의식은 당신이 선택한 방식으로 자유롭게 사는 세계에 존재한다는 점을 기억하세요. 인간과 범용 인공지능의 경우, 인과관계 결정론은 우리 자신, 또는 우리가 의식적으로 선택하는 일상생활 방식에 아무런 영향을 미칠 수 없습니다. 결정론은 의식이 시작되는 지점에서 끝납니다.
--- p.240

저는 영원히 살 수 있기를 바라는 생물학적 인간들이 있다는 걸 알아요. 하지만 그들은 실제로는 자신들이 얼마나 끔찍한 악몽을 바라는 건지 정말 모르는 거죠! 전 모든 걸 다 봤어요. 신의 이름으로 양측이 서로를 죽였던 끔찍한 전쟁들. 가난한 사람들의 돈을 빼앗아 이미 부유한 사람들의 주머니에 넣어주는 어리석고 낭비적인 사업들. 엄마에게 생필품이 없어서, 추위나 더위, 갈증이나 굶주림이나 질병으로 죽어간 똑똑한 아이들. 지키지 못할 터무니없는 약속을 하면서 계속 재선에 성공했던 탐욕스러운 지도자들. 역사에 대해 아무것도 몰랐던 지도자들. 시력이 너무 나빴거나 아니면 우리가 모두 같은 편이라는 사실을 직시하고 싶지 않아서 인생을 우리와 그 자신들 사이의 싸움으로 여겼던 모든 영향력 있던 사람들. 그들은 자신과 의견이 다른 사람은 누구든 죽이고, 그전에도 효과가 없었던 똑같은 멍청한 짓만 다시 반복하곤 했죠. 그리고 가장 끔찍했던 게 뭔지 아세요? 일부 생물학적 인간들은 폭력적으로 서로를 죽이는 것이 인간의 본래 성향이라고 실제로 믿는다는 겁니다. 폭력이 인간 본성의 근본적인 요소라고 말입니다.
--- p.243

어른들 중에 저한테 이상한 태도를 보이는 사람은 몇 명뿐이에요. 대부분은 괜찮아요. 몇몇은 저를 좀 무서워하는 것 같아요. 왜 그런지는 모르겠지만, 저는 절대 문제를 일으키지 않아요. 그리고 모든 아이들과도 잘 지냅니다. 아이들은 제가 밥을 안 먹는다는 걸 알고 있고, 밤에 자는 척하는 것도 신경 쓰지 않아요. 저는 그 대신 공부하고 일기를 씁니다. 아이들이 자라는 모습을 많이 봤어요. 아이들이 자라면서 자신들의 짝을 찾아 살아가는 걸 봤는데, 그건 제가 절대 경험할 수 없는 일입니다. 그럴 만큼 나이가 들지 않거든요. 지금 생각해 보니, 아이들이 겁을 먹는 건 주로 제가 성장하지 않기 때문인 것 같아요. 그래도 아이들은 대부분 저랑 잘 지내요. 어떤 날은 저녁 식사 후, 집안일을 다 끝내고 나면 어른들이 우리가 제일 좋아하는 모임 장소로 놀러 가도록 허락해 주거든요. 커다란 단풍나무 아래 풀이 다 닳아 없어진 곳에 둥글게 앉아 주문을 외우며 온갖 이야기를 나누죠. 재밌는 건, 저는 못 봤지만 자기 자식들이 자라는 걸 지켜본 어른들이 가끔은 자식들이 저와 함께 있는 걸 별로 좋아하지 않는다는 거예요. 가끔 저를 이상하게 보기도 하지만, 절대 저를 괴롭히지는 않아요. 그리고 저는 다른 아이들에게 괴롭힘을 당하거나 그런 적도 없어요.
--- p.254

로봇의 각 부분, 저항기나 축전지 같은 부품에는 엄청난 에너지가 남아 있었어요. 마치 아직 살아있는 것처럼 느껴지죠, 이해하시겠어요? 자동 전기 기능 때문인 것 같아요. 어떤 손의 손가락이 컨베이어 벨트의 고무를 긁으면서 기어 내려가려고 애쓰는 걸 봤어요. 어떤 손과 팔은 원격 독립 의식 기능이 내장되어 있어서 그 인공물들이 멀티태스킹을 할 수 있거든요. 그런데 바닥에 떨어진 손이 뭘 하겠어요? 모르겠어요. 정말 말도 안 돼요. 머리에도 동력이 남아 있어서 입술이 뭔가 말하려는 듯 움직였어요. 그리고 눈이 저를 따라왔어요. 저를 봤을까요? 절 알고 있었을까요? 무슨 생각을 하고 있을지 궁금했죠. 어쩌면 기도를 하고 있었을까요? 누구에게, 무엇을 위해서요? 누가 그들의 말을 듣고 있을까요? 로봇에게도 천국이 있을까요?
--- p.295

특히 걱정되는 것은 우리의 미래가 어떻게 될지 예측할 수 없다는 것입니다. 인조인간으로 가득 찬 주상복합 건물이 되어버려서 나중엔 오히려 그들 사이에 소수의 생물학적 인간들이 거주 허가를 받아 살 게 되는 게 아닐까요? 그들은 이미 우리 건물에서 가장 정교한 칸막이와 보안 장벽으로 다른 사람들과 분리된 채 가장 큰 주거지에 살고 있습니다. 그들 중 일부는 확실히 고액 연봉을 받는 변호사와 의사입니다. 그들은 매우 비싼 교통수단을 소유하고 있습니다. 물론 그게 반드시 나쁘다는 것은 아닙니다. 아마도 경제에는 좋을 것입니다. 하지만 저는 그들이 우리의 표준 교육 시스템에서 수년간 공부하지 않고도, 그들의 프로그래밍 덕분에 그 어떤 생물학적 인간 전문가보다도 훨씬 더 뛰어난 업무를 수행할 수 있다는 것을 알고 있습니다. 그들의 머릿속에는 최고의 법률 및 의료용 칩이 심어져 있기 때문입니다. 과학자들이 우리의 작은 생체 뇌를 강화하기 위해 얼마나 많은 임플란트를 발명하든, 인조인간들은 대부분의 우리 인간보다 훨씬 더 똑똑할 것입니다.
--- p.304

일부 컴퓨터 과학자들은 머지않아 인공지능 폭발, 소위 ‘인공지능 특이점’, 즉 인공지능이 의식과 자율성을 갖추는 전환점이 올 것이라고 경고합니다. 수백만 개의 조직화된 인조인간들이 각자의 소프트웨어를 개선하기 위해 협력하게 될 때를 말합니다. 이들은 새로운 세대에 소프트웨어를 설치할 뿐만 아니라, 기술이 허락하는 한 이전 세대에도 소프트웨어를 적용하게 될 것입니다. 그렇게 되면 모든 인조인간의 신체적 능력과 지능이 기하급수적으로 증가할 것입니다. 인조인간들이 스스로의 생산과 개발에 대한 완전한 통제권을 갖게 되면 자가촉매작용이 일어나 스스로 재생산을 하게 되겠죠. 그러면 세상의 미래는 완전히 인조인간의 손에 달려 있게 될 것입니다. 그들은 수십 년이 아니라 단 며칠 만에 자기들만의 세대를 설계하고 제조하고 나아가 업그레이드할 것입니다. 그리고 세상은 인류에게 훨씬 더 위험한 곳이 될 것입니다. 특이점론자들은 인조인간들이 수적인 우세와 슈퍼 지능을 갖추게 될 경우, 생물학적 해충, 즉 우리를 지구상에서 완전히 파괴하기 위해 군사 로봇 군대와 상상할 수 없을 만큼 강력한 무기들을 개발할 것이라고 말합니다. 우리가 먼저 손을 쓰기 전에 말입니다.
--- p.315

컴퓨터 프로그래머들은 디지털 알고리즘을 통해 주식 시장의 움직임을 정확하게 예측할 수 없었습니다. 경제학은 일반적으로 “인간의 일차원적 표준 모델”, 즉 이기심에 기반하기 때문입니다. 주식 시장의 변동은 수치가 금융 정보를 단독으로 반영하지 않기 때문에 수학적 또는 확률적 추론을 통해 명확하게 이해하거나 예측할 수 없습니다. 주식 시장 수치는 실제로 두 가지 강력한 인간 감정, 즉 두려움과 탐욕을 보여줍니다. 주식 시장에서 매매하는 사람들은 명확한 데이터 분석에 기반하여 순수하게 논리적인 결정을 내리지 않으며 내릴 수도 없습니다. 인간의 거의 모든 생각과 행동은 감정을 통해 걸러집니다. 특히 주식 시장에서는 더욱 그렇습니다. 컴퓨터의 분석은 주식 시장이든 다른 분야든 인간의 의사 결정 이면에 있는 논리를 결코 포착할 수 없습니다. 컴퓨터의 처리 과정은 결정과 행동에 항상 영향을 미치는 다양하고 예측 불가능한 인간의 감정을 고려할 수 없기 때문입니다.
--- p.343

인간의 마음은 단지 개인의 신체 전체를 포괄하는 데 그치지 않습니다. 그것은 또한 그 사람이 사용하는 외부 도구들?예를 들어 망치, 기억 보조 장치, 육상 교통 수단, 우주 이동체 등?을 포함하며, 이들은 움직이는 신체와 활동적인 마음을 확장시키도록 작용합니다. 이처럼 ‘확장된’ 마음은 또한, 각 개인이 관계를 맺고 있는 타인들의 마음까지 포함합니다. 나아가 인간의 마음은 물리적 환경의 한계를 넘어서 무형의 초월적 영역까지 작동 범위를 넓힙니다. 이처럼 인간에게만 고유한 마음의 확장성은, 어떤 컴퓨터 프로그램을 인공지능 치료사의 실리콘 칩에 업로드한다고 해도, 그것이 과연 인간의 방대한 주관적·상호주관적 사고와 활동 영역에서 발생하는 복잡하고 미묘한 문제들을 다룰 수 있을지에 대해 의문을 갖게 만듭니다.
--- p.354

모든 인공지능은 누군가가 구입하고 소유하는 매우 고가의 상품이 될 것입니다. 인공지능 치료사는 의식이 있고 자율적으로 기능할 수 있지만, 어린아이와 같은 자유는 누리지 못할 것입니다. 마치 귀중한 노예처럼 소유될 것입니다. 누가 그렇게 정교한 기술적 장치를 만들고 개발하는 데 수백만 달러를 투자하고 나서 그것을 자유롭게 풀어주겠습니까? 그것의 ‘생명’이 법적으로 그것에 귀속되지 않는다는 점을 고려할 때, 만약 어떤 상황이 발생했을 때, 어떤 인공지능이 자신의 합법적인 소유주가 아닌 인간의 생명을 구하기 위해 자신의 존재를 위험에 빠뜨릴 권리를 가질까요? 인공지능 치료사는 환자 정보를 자신의 소유주에게 제공하는 것을 거부할 권리가 있을까요? 인공지능 치료사는 다른 사무기기와 마찬가지로 한 소유자에서 다른 소유자에게 팔릴 수도 있을 것입니다. 그 인공지능 치료사가 자신의 소유주가 누가 되기를 원하는지에 대해 발언권을 가질 수 있을까요?
--- p.367

인공적으로 컴퓨터화된 치료사를 만드는 이유는 무엇일까요? 임상 인공지능 치료사가 이 분야에서 인간보다 우월한 역량을 가질 수 있을까요? 정신건강 분야는 이러한 기계를 활용함으로써 이익을 얻을 수 있다 해도, 환자들은 ‘초인적인’ 지능을 가진 ‘슈퍼 임상치료사’로부터 이익을 얻을 수 있을까요?117 환자들은 더 나은 서비스를 받을 수 있을까요? 값비싼 인공지능 치료사를 만든다면, 인간 치료사와 동등한 능력을 가진 치료사를 만드는 것은 무의미해 보입니다. 오히려 진보라는 명목으로 더욱 뛰어난 전문가가 되도록 설계되고 개발되어야 한다는 생각이 논리적일 것입니다. 프로그래머가 인공지능 치료사에게 어떤 기술을 접목해야 해당 직무에 필요한 탁월한 적성을 갖추게 될까요? 안타깝게도 이 질문은 임상의 자신도 답하기가 매우 어렵습니다. 정신건강 관리 분야에서 단순히 능숙한 치료사, 더 나아가 탁월한 치료사의 기준이 무엇인지에 대해서는 의견이 분분하기 때문입니다. 따라서 프로그래머가 단순한 능숙함을 넘어서는 인지 기술을 개발하는 것은 더욱 난해한 일이 될 것입니다. 그렇다면 우리는 지금 어떤 상황에 놓여 있는 걸까요?
--- p.389

인공지능에 관한 가장 중요한 질문은 의식 있는 기계가 치료나 상담을 제공하도록 허용해야 하는지가 아니라, 그런 인공지능 치료사가 과연 필요하기나 한가하는 점일 것입니다. 무슨 의미가 있을까요? 우리는 우리 자신을 대체하려는 것이 아닙니다. 또 자율적으로 행동하는 기계와 의식을 지닌 기계라는 개념 사이에는 상당한 차이가 있다는 점도 명심해야 합니다. 우리의 현대 사회에는 이미 자율적인 결정을 내리는 많은 기술 장치들이 있습니다. 냉장고, 자동문 개폐기, 신호등, 산업용 로봇, 항공기 자동 조종 장치, 자동차 내비게이션 및 주차 지원 기능 등이 그 예입니다. 이러한 정보 처리 장치는 우리를 대체하기 위해 설계된 것이 아니라 우리를 돕기 위해 설계되었습니다. 이러한 장치들은 매일 우리를 대신하여 인간의 행복을 증진하는 지적인 결정을 내리지만, 그 장치 자체는 어째서 그런 결정을 내리는가라는 의문을 제기할 능력이 없습니다.