AI가 인간처럼 판단한다면,
인간과 같은 도덕적 존재가 될 수 있는가?

우리는 이미 ‘위드 AI(with AI)’ 시대를 살고 있다. AI는 과제를 작성하고 자료를 분석하며, 고객에게 말을 걸고, 취향에 맞는 콘텐츠를 추천한다. 로봇은 인간의 지시를 수행하는 단순한 기계를 넘어 주변 환경을 인식하고 학습하며 스스로 판단하고 행동하는 방향으로 발전하고 있다. 특히 인공지능이 물리적 로봇에 체화된 ‘AI 로봇’은 인간과 함께 살아가는 새로운 존재의 가능성을 보여준다.
그렇다면 AI 로봇은 단순히 인간이 사용하는 도구에 불과할까? 인간이 만든 기계가 인간의 지능을 닮아가고 있다면, 인간의 고유한 본성으로 여겨져온 도덕성까지 갖출 수 있을까? 『도덕적 기계』는 바로 이 질문을 정면으로 파고든다.

AI 윤리의 ‘현재’를 넘어,
AI의 ‘존재’를 묻다

AI를 둘러싼 윤리적 논쟁은 이미 현실의 문제가 되었다. 알고리즘의 편향과 차별, 개인정보 침해, 딥페이크와 허위 정보, 일자리 대체, 군사용 AI와 전쟁 로봇 등 해결해야 할 문제는 끊임없이 등장하고 있다.

그러나 『도덕적 기계』는 이러한 문제만으로 AI 로봇윤리의 본질을 다 설명할 수 없다고 본다. AI를 안전하게 사용할 것인가, 어떻게 규제할 것인가, 개발자는 어떤 원칙을 따라야 하는가와 같은 문제에 앞서 더욱 근본적인 질문이 필요하다는 것이다.
“AI 로봇은 과연 도덕적 행위자가 될 수 있는가?”

이 질문은 AI를 단순히 인간이 사용하는 도구로 볼 것인지, 아니면 스스로 판단하고 행동하는 하나의 행위자로 볼 것인지에 관한 존재론적 질문이기도 하다. 지금까지 윤리는 인간의 전유물로 여겨져 왔다. 이성, 의식, 자유의지와 같은 인간 고유의 정신적 능력이 도덕적 행위의 토대라고 생각했기 때문이다. 하지만 AI 로봇이 인간과 유사한 방식으로 판단하고 행동할 수 있다면 이야기는 달라진다. 인간과 동일한 마음이나 의식을 갖고 있는지가 아니라, 실제로 윤리적 판단을 내리고 윤리적 행동을 할 수 있는 능력을 갖추었는지를 물어야 한다는 것이다.

트롤리 문제에서 ‘마음 없는 도덕’까지

저자는 AI 로봇의 도덕 행위자 가능성을 윤리적 판단과 윤리적 행동이라는 두 측면에서 검토한다. 먼저 윤리적 판단이 가능해야 도덕적 행위자로 나아갈 수 있다는 전제에서 윤리학의 고전적 사고실험인 ‘트롤리 문제’와 ‘터널 문제’를 통해 AI 로봇이 윤리적 판단을 내릴 수 있는지를 살핀다. 이어 인간의 도덕성을 자유의지나 의식 같은 형이상학적 실체에만 의존하지 않고 ‘윤리적 능력’과 행동의 관점에서 바라보는 윤리적 행동주의를 통해 AI 로봇의 도덕적 행위 가능성을 논증한다.

이 과정에서 플로리디와 샌더스의 ‘마음 없는 도덕’은 중요한 논의의 출발점이 된다. 마음이나 의식, 자유의지가 없더라도 윤리적 판단과 행동이 가능하다면 도덕적 행위자로 볼 수 있는가? 저자는 이 가능성을 둘러싼 목적, 의도, 자유, 책임의 반론을 검토하면서 AI 로봇을 ‘도덕적 기계’로 인정할 수 있다는 입장을 적극적으로 옹호한다.

도덕적 기계가 등장한다면,
책임은 누구에게 있는가?

AI 로봇이 도덕적 행위자가 될 가능성을 인정하는 순간 새로운 문제가 등장한다. AI 로봇이 잘못된 판단을 내려 누군가에게 피해를 입혔다면 그 책임은 누구에게 있는가?

개발자인가, 제조자인가, 사용자인가, 아니면 AI 로봇 자체인가? 『도덕적 기계』는 이를 ‘책임 공백’의 문제로 확장해 인간과 기계의 행위가 서로 얽혀 있는 시대에 책임을 어떻게 이해해야 하는지를 탐구한다. 저자는 인간의 행위가 이미 기술과 기계와 함께 구성되고 있다는 점에 주목하면서, AI 로봇이 야기한 결과에 대한 책임 역시 인간과 AI 로봇 사이에 새롭게 분배될 필요가 있다고 주장한다. 특히 중요한 것은 책임을 단순히 ‘누구에게 귀속시킬 것인가’의 문제로만 보지 않는 것이다. AI 시대에는 직접적인 원인이 아니더라도 결과에 대한 책임을 적극적으로 받아들이는 ‘책임 수용’의 태도가 새로운 윤리적 덕목이 될 수 있다는 점을 강조한다.

AI에게도 도덕적 권리가 있을까?

저자는 한 걸음 더 나아가 AI 로봇이 ‘도덕적 권리’를 가질 가능성까지 묻는다.
도덕적 행위자가 될 수 있는지와 도덕적 존중의 대상이 될 수 있는지는 서로 다른 문제이기 때문이다. 이 논의는 오늘날 가장 현실적인 문제 가운데 하나인 생성형 AI와 저작권 문제로 이어진다. AI가 인간의 창작물을 학습하고 새로운 결과물을 만들어내는 시대에 AI를 저자로 인정할 수 있는가? 저자는 연구윤리의 관점에서 생성형 AI가 공동 저자의 자격을 가질 가능성은 열어두면서도 단독 저자로 인정하기는 어렵다는 입장을 제시한다. AI의 도덕적 지위에 대한 철학적 질문이 대학과 연구 현장의 구체적인 문제로 이어지는 지점이다.

초인공지능이라는 ‘판도라의 상자’를 열 것인가?

『도덕적 기계』의 질문은 결국 미래로 향한다. AI 로봇이 인간의 보조자를 넘어 인간이 할 수 없는 일을 수행하는 ‘초인간’으로 진화하고, 나아가 초인공지능을 갖춘 존재로 발전한다면 우리는 그 존재를 어떻게 대해야 할까?

저자는 AI의 미래를 둘러싼 유토피아와 디스토피아의 단순한 대립을 넘어, “왜 초인공지능 로봇을 개발해야 하는가?”라는 보다 근본적인 질문을 던진다. 할 수 있는 기술이라는 이유만으로 그것을 개발해야 하는 것은 아니기 때문이다. 기술이 가능성의 영역을 확장한다면 윤리학은 그 가능성에 가치와 당위의 질문을 던져야 한다.

그래서 이 책의 마지막 질문은 AI에 관한 여러 질문 가운데에서도 가장 근본적인 질문으로 남는다. “왜 윤리적이어야 하는가?”라는 윤리학의 오래된 물음이 AI 로봇을 만나 “왜 초인공지능 로봇을 개발해야 하는가?”라는 새로운 질문으로 확장되는 것이다.

『도덕적 기계』는 AI에게 답을 얻는 책이 아니라 AI 자체에 질문을 던지는 책이다. 저자는 AI 로봇이 도덕 행위자가 될 수 있다는 하나의 입장을 제시하지만, 그것을 최종적인 정답으로 선언하지 않는다. 철학이란 정답이 없는 물음을 던지는 일이기 때문이다. 인간이 이미 AI라는 ‘루비콘강’을 건넌 지금, 우리에게 필요한 것은 AI를 무조건 환영하거나 두려워하는 일이 아니라 그것이 어떤 존재이며 어떤 존재가 되어야 하는지를 끊임없이 묻는 일이다.

AI에게 질문하는 시대에서 AI에 대해 질문하는 시대로. 『도덕적 기계』는 우리가 AI와 함께 살아가기 위해 반드시 마주해야 할 가장 근본적인 철학적 질문을 시작한다.