이상의 검토를 통해 인공지능 윤리의 현 단계에서 남겨진 핵심 과제가 드러난다. 문제는 더 강력한 규제도, 더 정교한 알고리즘도 아니다. 인공지능이 윤리적 맥락을 읽어낼 수 있는가, 그리고 그 맥락의 단독성(singularity)에 적절하게 응답할 수 있는가이다. 이 물음에 답하기 위해 이 책은 덕 윤리로 돌아가려고 한다. 덕 윤리는 행위를 보편 원칙의 기계적 적용이 아니라 구체적 상황 안에서 “마땅함”을 찾아나가는 실천으로 이해한다. 이 실천의 능력이 아리스토텔레스의 실천적 지혜(phronēsis)이고 아퀴나스의 현명(prudentia)이다. 무엇보다도 이 실천의 구조(반복되는 조정과 수렴을 통해 최적의 지점에 근접해 가는 과정)는 인공지능의 핵심 알고리즘인 확률적 경사 하강법(SGD, Stochastic Gradient Descent)과 구조적으로 동형이다. 이 유사성은 우연이 아니다. 두 방법 모두 복잡한 세계 안에서 “마땅함”이라는 목표를 향해 확률적으로 수렴한다는 동일한 문제를 공유하기 때문이다.
－01_“인공지능 윤리” 중에서

이 보편주의는 근대의 도덕적 성취이기도 하다. 개인의 감정이나 공동체의 전통을 넘어서는 공통의 기준이 없다면, 도덕적 논쟁과 설득은 불가능하다. 그러나 이 보편주의는 동시에 구조적 맹점을 가진다. 원칙은 일반적으로 공식화되는 순간 필연적으로 특수한 상황의 질감을 지운다. 레비나스의 말처럼 “이 사람”의 얼굴이 지우개의 “인간”으로 환원되는 것이다. 이 지움이 인공지능 윤리에서는 더 노골적이고 체계적인 방식으로 일어난다. 데이터는 개별을 통계적 평균으로 처리하고, 알고리즘은 규칙을 맥락과 무관하게 적용하며, 공정성을 나타내는 지표는 집단 간 차이를 수치로 환산한다. 규칙이 개입하는 순간 맥락은 이미 지나가고 없다.
－03_“맥락” 중에서

SGD와 덕의 구조적 동형성은 강력하지만 두 가지 결정적 한계를 가진다. 첫 번째는 목적 함수의 설계 문제다. SGD는 주어진 손실 함수를 최소화하는 방향으로 수렴한다. 그런데 무엇이 손실인지를 어떻게 정의하는가? 덕 윤리에서 “선”은 실천 안에서 내재적으로 생성된다. 그러나 인공지능의 손실 함수는 외부에서 설계자가 정의한다. 이 설계가 잘못되거나 실제 삶의 복잡성을 충분히 반영하지 못하면 SGD는 아무리 잘 수렴해도 엉뚱한 목적지에 도달한다. “목적 함수 정렬 문제(objective alignment problem)”라고 불리는 이 난제는 단순한 기술 문제가 아니라 가치 철학의 문제다.
－06_“확률적 경사 하강법” 중에서

그러나 기술 돌봄은 역설적 문제를 낳는다. 인공지능을 활용한 돌봄 서비스는 효율성과 접근성을 높이지만 돌봄 대상의 개별적 맥락을 탈락시킨다. 원격 모니터링 시스템은 낙상 여부는 감지하지만 이 사람이 왜 밤마다 화장실에 가는지, 예를 들면 전립선 문제인지, 불안증인지, 아니면 단순히 창문으로 별을 보기 위해서인지를 파악하지 못한다. 가상화·원격화·기계화·편재화된 돌봄 서비스는 보편화된 패턴으로 개인에게 접근한다. 이것이 탈맥락화(decontextualization)다. 지능화된 돌봄 패턴이 일반화된 탈맥락을 극복할 수 있는가, 이 질문이 이 장이 답해야 할 핵심 물음이다.
－09_“기술 돌봄” 중에서