ANI, AGI와 ASI의 구분은 인공지능의 능력과 미래 가능성을 이해하는 데 유용하다. 그러나 이를 단순한 선형적 발전 과정으로 받아들이면 세 가지를 놓치기 쉽다. 첫째, 인공지능의 능력은 균일하게 발전하지 않는다. 둘째, 일반성과 자율성은 동일하지 않다. 셋째, 지능과 인격은 같은 것이 아니다. 인공지능이 인간의 말을 자연스럽게 모방할수록 사람은 그 안에 마음과 의도가 있다고 느낀다. 시스템이 “나는 두렵다”거나 “당신을 이해한다”고 말하면 대화 상대는 내면의 경험이 존재한다고 생각하기 쉽다. 그러나 인간이 인격을 투사하는 것과 인공지능이 실제 인격을 갖는 것은 구분해야 한다. 언어적 반응은 관찰할 수 있지만 그 반응 뒤에 주관적 경험이 있는지는 별개의 문제다.
--- 「01 인공지능의 지능」 중에서

인공지능 시대에 이 구분이 필요한 이유는 법적 편의와 도덕적 존중을 혼동하지 않기 위해서다. 자율 거래 시스템에 제한된 계약 권한을 인정하는 것은 실무적 선택일 수 있다. 그러나 그 권한이 곧 인간과 같은 존엄이나 생명권을 뜻하지는 않는다. 반대로 인공지능이 법적 권리의 주체가 아니더라도 인공지능을 이용해 인간의 얼굴과 목소리를 복제하거나 사람을 차별해서는 안 된다. 인격 논의를 하나의 질문으로 압축하면 오류가 생긴다. 스스로 행동할 수 있는가, 책임을 질 수 있는가, 고통을 느끼는가, 관계를 맺는가, 법률상 권한이 필요한가를 나누어 물어야 한다. 어떤 존재는 한 조건을 충족하면서 다른 조건은 충족하지 않을 수 있다. 인격은 단일한 점수라기보다 여러 능력과 관계, 보호할 이익이 결합된 개념이다.
--- 「03 인간의 인격과 존엄」 중에서

인공지능 책임을 모든 산업에서 같은 방식으로 정할 수는 없다. 시스템의 기능, 예상되는 피해와 인간의 감독 가능성이 다르기 때문이다. 다만 공통 기준은 있다. 누가 위험을 만들고 통제했는지, 누가 이익을 얻었는지, 피해자가 누구에게 구제를 요구할 수 있는지를 분명히 해야 한다. 자율주행 분야에서는 차량 소유자와 운행자, 자동차 제조사, 센서와 소프트웨어 제공자, 정비업체의 책임이 문제된다. 사람이 운전대를 잡았는지만 볼 것이 아니라 시스템의 설계, 업데이트, 도로 환경과 통신 안전을 함께 검토해야 한다. 사고 기록 장치는 인간이 언제 개입했고 시스템이 어떤 정보를 바탕으로 판단했는지 확인하는 핵심 증거가 된다.
--- 「06 인공지능의 책임」 중에서

새로운 사회계약에는 몇 가지 원칙이 필요하다. 인간 존엄은 효율보다 우선해야 한다. 인간과 조직의 책임은 인공지능에 위임할 수 없어야 한다. 중요한 판단은 추적하고 설명할 수 있어야 한다. 불이익을 받은 사람에게 이의제기와 인간 재심을 보장해야 한다. 기본권을 제한하는 사용은 목적에 필요하고 비례해야 한다. 시스템은 수정·중단할 수 있어야 하며, 규칙을 만드는 과정에 사회적 약자와 시민이 참여해야 한다. 이 원칙은 인공지능을 배제하려는 장벽이 아니다. 신뢰할 수 있는 활용을 가능하게 하는 조건이다. 사람들은 자신의 권리가 보호되고 문제가 생겼을 때 고칠 수 있다고 믿을 때 기술을 받아들인다. 공존은 기술의 성능만으로 이루어지지 않는다. 권한과 책임, 이익과 위험을 정당하게 나누는 제도가 필요하다.
--- 「09 인공지능과 공존 사회」 중에서