만약 지성이 기술의 생산자일 뿐 아니라 기술의 산출물이 되면, 예측할 수 없고 폭발적인 결과를 낳는 피드백 사이클이 생겨날 수 있다. 왜냐하면, 지능 자체가 만들어진다면, 지능을 만드는 바로 그것이 자신을 개선할 수도 있기 때문이다. 특이점 가설에 따르면 머지않아 보통 인간은 피드백 순환에서 제거될 것이다. 인공지능 기계들 또는 인지적으로 진보한 생물학적 지능이 인간을 뛰어 넘고, 인간은 그들과 보조를 맞추지 못할 것이다. --- p. 15

범용 인공지능을 만들려면, 신진대사와 재생산과 같은 생물학적 생명에 필수인 것은 없어도 되겠지만, 몸은 필수 요소이다. 복잡하고 다양한 생물과 무생물에 둘러싸인 어수선하고, 동적인 물리적 환경에 관여하는 것은 지능의 근본 욕구일 것이다. 튜링 테스트는 오직 언어만으로 검사하기 때문에 이런 면에서 기준으로 불충분하다. 인공지능을 신뢰할 만하게 판단하는 오직 한 가지 방법은 우리와 같은 환경 속에서 그 행동을 관찰하는 것이다. 이러한 사고방식에 따르면, 인간 수준의 AI를 만드는 유일한 방법은 로봇 공학을 이용하는 것이다. --- p. 27

다음과 같은 조건이 갖추어지면 2010년대 중반에는 가장 강력한 컴퓨터를 이용하여 쥐의 뇌 전체를 시뮬레이션하는 것이 가능할 것이다. (1) 성공적인 에뮬레이션에 필요한 물리적 세부 사항 수준이 충분히 낮고, (2) 필요한 미세 수준의 청사진을 가지고 있어야 한다. 우리는 두 번째 조건을 만족시키기 위한 몇몇 기술적 대안들을 이미 논의한 바 있다. 첫 번째 조건에 대해서는 아직 결론이 확실치 않다. 시냅스 전달의 화학 작용, 신경아교세포의 구조, 가지돌기와 축삭돌기 모양 등을 추상화하여, 뉴런을 단순한 점과 같은 수학적 객체로 취급하여도, 실제와 같은 행위 결과를 얻을 수 있을까? --- p. 56~57

예를 들어, 만약 우리의 학습 알고리즘이 ‘끈’이라는 범주와 ‘고양이’라는 범주를 학습했다면, 고양이들이 종종 끈 조각을 좇는 것을 반쯤 학습한 것과 같다. 다시 말하지만, 우리는 기계 학습 알고리즘이 이 규칙을 인간 언어의 문장과 같은 것으로 표현한다고 오해하면 안 된다. 오히려 그것은 자주 일어나는 시각적 특징들의 움직임을 통계로 나타내는 데이터 구조 속에서 일련의 매개변수 값이 될 것이다. 그 시각적 특징은 수학적 방법으로 표현될 것이다. 그리고 이 사실을 배운 사람과 적절하게 만들어진 기계에게 그 결과는 같을 것이다. 예를 들어, 학습 알고리즘을 이용하는 AI는 고양이를 바구니 속으로 유인해 수의사에게 데려갈 수 있다. --- p. 88

우리가 인간 수준의 AI를 갖게 된다면, 초지능 AI는 피할 수 없다는 것이다. AI가 생물학적 물질이 아닌 디지털로 만들어졌다는 장점만을 고려하면 우리는 이 주장의 타당성을 이해할 수 있다. 생물학적 뇌와 달리 디지털로 구현한 뇌의 복사본은 임의로 여러 번 복사할 수 있다. 그리고 생물학적 뇌와 달리 디지털 뇌는 가속시킬 수 있다. 따라서 우리가 전 뇌 에뮬레이션을 이용하여 인간 수준의 AI를 하나 창조할 수 있고 연산 자원이 충분하다면, 우리는 인간을 능가하는 속도로 일하는 인간 수준 AI의 공동체를 만들 수 있다. 이 점은 공학적으로 만들어진 AI에 대해서도 똑같이 적용된다. 정말로 컴퓨터 프로그램으로 구현된 모든 것은 복사와 가속화가 가능하다. --- p. 113

컴퓨터 과학에서 사용자 환상은, 예를 들어 우리가 폴더를 데스크톱 화면에서 움직이기 위해 마우스를 사용하는 것처럼 우리가 실제 사물과 상호작용하고 있다고 느끼는 것이다. 그러한 환상을 만드는 것은 인간과 컴퓨터의 상호작용을 용이하게 한다. 그러나 아무도 자기가 실제 물체, 즉 실제 책상 위의 실제 폴더를 조작하고 있다고 생각하지는 않는다. 동물 행동 연구에서, 의인화는 근거 없이 동물들이 인간과 같은 생각을 갖고 있는 것으로 보는 것이다. 마치 우리가 가족의 고양이인 투티의 노예에 지나지 않으므로 그가 우리를 무시한다고 말할 때와 비슷하다. AI, 특히 여기에서 상상하는 초지능 AI에게는 좋은 일에는 사용자 환상을, 나쁜 일에는 의인화의 그늘을 드리우는 것이 너무나 쉽다. --- p. 141

만약 오늘 아침 당신이 직장에 걸어올 때 당신 뇌의 모든 뉴런이 교체되었다는 사실을 갑자기 알게 되면, 그때 당신의 얼굴을 스치던 바람의 기억을 의심할 것인가? 당신은 아무것도 경험하지 못했지만 경험의 가짜 기억이 뇌에 이식되어 지금처럼 행동하게 되었으므로 당신은 사실상 좀비라고 주장하는 철학자를 당신은 믿을 수 있을 것인가? 그렇지 않다면, 당신은 일종의 기능주의자이다. 당신은 과정 전체를 통하여 의식이 지속한다는 개념 그리고 생물학적 구성이 아니라 뉴런의 기능이 중요하다는 개념을 선호한다. --- p. 151

레이 커즈와일을 비롯한 일부 작가들은 기계 초지능이 출현하는 시기를 특별히 정하여 예측했다. 2005년에 쓴 글에서, 커즈와일은 2045년까지 이 행성에서 비생물학적인 지능의 수가 총인구의 수를 넘을 것이라고 주장했다.2 그는 기하급수적 기술 발전에 기반을 두고 예측하여, 미래를 추정했다. 이러한 기하급수적 추세 중에서 가장 유명한 것이 바로 무어의 법칙이며, 우리는 이미 여러 번 언급한 바 있다. 일정한 면적의 실리콘 기판 위에 쌓을 수 있는 트랜지스터의 수는 매 18개월마다 두 배로 된다는 것이다. --- p. 186

트랜스휴머니즘 맥락에서 마찬가지로 어려운 질문들이 제기될 수 있다.1 트랜스휴머니스트들은 인간의 몸과 두뇌의 생물학적 한계를 뛰어 넘기 위해 기술을 사용하는 것을 옹호한다. 인간 지능은 약학, 유전학 또는 인공 기관 등 여러 방법으로 강화될 수 있다. 의학의 진보는 질병을 없애고 노화 과정을 멈추게 하여 인간의 수명을 무한정 늘릴 수도 있다. 더 근본적으로는 질병과 노화에 영원히 대처할 목적으로, 2장에서 논의한 전 뇌 에뮬레이션 기술을 이용하여 사람의 마음을 컴퓨터에 업로드 할 수 있을 것이다.