이 책은 기술 발전이 몰고 올 공포에 관한 내용이 아니다. 우리의 목표는 AMA 설계라는 엔지니어링 과제에 건설적인 지침을 마련해줄 논의의 틀을 잡는 일이다. 우리가 내놓는 예측의 목적은 도덕적 기계에 관한 연구의 필요성에 지금 주목하자는 것이다. 기술이 공상과학 소설을 따라잡게 되는 몇십 년 내지 100년 후가 아니고 말이다.
(17쪽)

기계의 도덕 분야는 컴퓨터 윤리 분야를 확장시켜 사람이 컴퓨터로 무엇을 할까 라는 관심을 넘어 기계가 스스로 무엇을 할까 라는 질문을 다룬다. … 우리는 컴퓨터를 명쾌하고 도덕적으로 추론할 수 있도록 만드는 데 관련된 기술적 사안들을 논의할 것이다.
인공지능(arti?cial intelligence, AI)이 자동 행위자의 범위를 확장시켜감에 따라 그러한 행위자들이 인간 도덕 행위자들에게 요구되는 더욱 폭넓은 가치와 법칙을 존중하도록 어떻게 설계할 것인가 라는 문제는 점점 더 긴급한 과제가 돼가고 있다. 인간은 컴퓨터가 도덕적으로 중요한 결정을 내리기를 정말로 원하는가? 기술에 관해 고찰하는 여러 철학자들은 인간이 자신의 책임을 기계에 떠넘기는 것의 위험성에 대해 경고해왔다. 영화와 잡지들은 미래에 발전된 형태의 AI가 가져올 위험을 부각하는 이야기로 가득 차 있다. … 그러므로 이 기술에 이해관계가 있는 사람이라면 누구든 컴퓨터·로봇 그리고 컴퓨터 네트워크 속의 가상 ‘봇 bots’에 도덕적 결정을 실행시키는 과제에 발 벗고 나서야 할 책임이 있다.
(17~18쪽)

〈터미네이터 The Terminator〉의 종말 시나리오도 그 영화의 유통기한인 2029년 이전에는 실현되지 않는다고 보는 편이 타당할 것이다. … 하지만 인류는 공학적으로 설계된 시스템들이 의사결정을 할 수 있고, 이로 인해 인간의 삶에 영향을 미칠 뿐 아니라 윤리적 효과를 야기할 수 있는 지점에 이미 와 있다.
(20~21쪽)

기계의 도덕은 AMA 구현의 철학적, 실제적 사안만큼이나 인간의 의사결정에 관한 것이기도 하다. AMA에 관한 성찰 그리고 이를 제작하기 위한 실험을 살펴보면 인간이 어떻게 작동하는지, 어떠한 인간의 능력들이 기계 설계에 구현될 수 있는지, 그리고 인간이 동물 또는 인간이 창조한 새로운 형태의 지성과 구별되는 속성이 무엇인지 깊이 생각할 수밖에 없다. AI가 마음에 관한 철학 분야에 새로운 탐구 방향을 이끌어냈던 것과 마찬가지로 기계의 도덕은 윤리학에 새로운 탐구 방향을 이끌어낼 수 있다.
(22쪽)

(로)봇 시스템이 금융에서 통신, 나아가 공공 안전에 이르기까지 사회의 거의 모든 분야에서 점점 더 자리잡아감에 따라 재난은 예기치 못한 사건들의 조합에서 생길 가능성이 가장 크다. … 컴퓨터 시스템의 행동은 개별적으로는 꽤 사소하지만 다 합쳐지면 매우 심각해질 수 있다. 구글의 연구소장인 피터 노빅(Peter Norvig)은 다음과 같이 말한다.
“오늘날 미국에서는 매일 의료 사고로 100명에서 200명 정도의 사람들이 죽는데, 이런 의료 사고의 상당수는 컴퓨터와 관련이 있다. 엉뚱한 약을 준다든지 용량을 잘못 계산하는 실수로 매일 100명에서 200명 정도가 죽는 것이다. 그런 사망자들 중 얼마만큼이 컴퓨터 실수 때문인지는 모르지만, 상당한 비율을 차지한다. 컴퓨터 실수와 의료 과정상의 잘못이 함께 결합해 두세 달마다 9/11 테러 때와 맞 먹는 사망자 수가 생긴다고 해도 과언이 아니다.”
… 잘못된 부품, 불충분한 설계, 부적절한 시스템 그리고 컴퓨터가 행하는 선택에 관한 명확한 평가 사이에 선을 긋기가 점점 더 어려워진다.
(192쪽)

새로운 기술의 도입으로 인해 인간의 잠재적 능력이 달라질 뿐 아니라 인간의 성격과 의식도 바뀔 수 있다고 보는 시각도 있다. MIT의 사회학자인 셰리 터클(Sherry Turkle)은 이렇게 적고 있다. “기술의 미래에 관해 우리가 현재 집착하고 있는 대다수의 사안들 뒤에는 아직 제기되지 않은 질문이 하나 있다. 그 질문은, 기술이 미래에 어떤 모습일까에 관한 것이 아니라 오히려 우리가 어떤 모습일까, 우리와 기계의 관계가 점점 더 긴밀해질수록 우리가 어떤 모습이 돼갈까에 관한 것이다.”
(70쪽)

현재의 컴퓨터는 워낙 복잡하다보니, 공학자는 어떤 시스템이 새로운 상황에서 어떻게 행동할지 예측할 수 없을 때가 흔히 있다. 수백 명의 공학자가 각자 자신이 맡은 부분의 설계를 담당한다. 서로 다른 회사, 연구소 그리고 설계팀이 각각 별도의 하드웨어와 소프트웨어 구성부분을 개발하며 이것들을 결합해 최종 생산품이 나온다. 한 컴퓨터 시스템이 이처럼 모듈식 설계를 통해 생산되므로, 어떤 한 사람 또는 하나의 그룹은 그 시스템이 일련의 새로운 입력에 대해 어떻게 반응하고 작용할지 완벽히 파악할 수 없다.
(72~73쪽)

낙관주의자들은 인류가 인간의 지능과 동일하거나 능가하는 시스템을 제작할 것이라고 믿고 앞으로 20년에서 50년 안에 이런 일이 실제로 일어날지 모른다고 주장한다. 만약 그들이 옳다면 이것은 인간 존엄성에 대한 타격이자 인간이 동물 및 다른 사물들보다 우월한 천부적인 재능을 지닌 만물의 영장이 아님을 증명하는 것으로 여겨질 것이다.
(84쪽)

로봇 전투 기계는 아시모프의 로봇 3원칙?인간에게 해를 가하거나 인간을 죽이지 못하도록 하는 원칙?에 방해를 받지 않을 것이다. 따라서 문제는 명백하다. 일단 로봇이 살상 허락을 받으면 어떤 특정한 사람을 죽여도 되는지 판단하기 위한 실시간 의사결정이 필요하다. … 언제, 어디에서 그리고 누구를 향해 살상력이 허용될지에 관한 도덕적 결정을 내리는 능력을 완벽히 구현하지 않는 한, 로봇 전투 기계가 인간에게 해를 끼칠 가능성을 줄일 방법은 없다.
(86~87쪽)

로봇이 미래에는 스스로 감정을 느끼게 되고 지능·의식 그리고 자기 인식을 갖추게 될 것이라는 우려가 있다. 고통을 느끼는 로봇은 더 이상 자기를 혹사시키지 말라고 인간에게 명령할 권리를 갖게 될까? 정교한 수준의 이해력을 지닌 로봇은 스스럼없이 더 이상 시키는 일을 하지 않겠다고 선언하게 될까? 아니면 이런 상황임에도 불구하고 사람들은 로봇이 진정한 감정, 높은 수준의 정신 능력이나 의식이 없는 열등한 생명체일 뿐이라고 계속 고집하게 될까?
(90쪽)

구체적인 규칙은 단순한 사례에 적용하기는 비교적 쉽지만 더욱 복잡한 상황에서는 불분명한 지침이 되고 만다. 만약 당신의 아버지가 당신에게 도둑질을 하라고 하면 그 지시를 존중해야 할까? 만약 아버지가 그 방법 말고는 음식을 구할 길이 없을 때라면 어떻게 해야 할까? 아시모프 식의 로봇은 만약 서로 다른 사람들에게서 상반되는 명령을 받거나 인간에게 해를 끼치게 될 행동들 사이에서 한 가지를 선택해야 하는 상황에 처하면 어떻게 해야 할까?
(164쪽)

“로봇들이 시민권을 요구하며 워싱턴에서 행진하다”
“테러리스트 아바타가 가상의 휴일 목표물에 폭탄을 던지다”
“노벨문학상 수상자는 IBM의 딥-블루도라”
“로봇해방군을 집단학살 혐의로 기소”
“구멍 뚫린 가슴을 수리하는 나노로봇”
“VTB(가상 거래 봇)가 통화 시장에서 자신의 재산을 축적한다”
“UN, 자기 복제 AI에 대한 금지 논의”
“연쇄 스토커가 로봇 성 노동자를 목표로 삼다”
이런 표제들이 이번 세기에 등장할까, 아니면 단지 과학소설 작가의 전유물일까? … 레이 커즈와일(Ray Kurzweil)과 한스 모라벡(Hans Moravec) 같은 유명한 과학자들은 인간보다 우월한 지능을 가진 (로)봇에 대해 그리고 어떻게 인간의 마음을 컴퓨터 시스템에 이식함으로써 일종의 영생을 얻을지에 관해 열정적으로 이야기한다. 그들은 인간에 비견할 만한 지능을 지닌 컴퓨터 시스템의 출현이 2020~50년 무렵에 가능하다고 예측한다.
(325쪽)

어떤 미래 전망이 가까운 미래(20년에서 50년) 안에 실현될 것인가? 그리고 어떤 전망이 꾸며낸 이야기인가? … AI 시스템이 지능 면에서 인간을 능가하지는 못하더라도 곧 동등한 수준에 오르리라는 추측은 로봇의 세계장악과 관련된 기술적 공상과 두려움을 불러일으킨다. … 자기복제 나노로봇이 지구상의 모든 유기물질을 다 먹어치울 것이라고 경고하는 종말론적 시나리오는, 나노기술이 제기한 심각한 윤리적 문제의 대표격이다. 그리고 마이클 크라이튼(Michael Crichton)이 자신의 소설 『먹이 Prey』에서 그려낸 대로 함께 활동하는 나노로봇 무리들은 위협적인 집단행동을 보여줄지 모른다.
(326~329쪽)

안타깝게도 감정을 (로)봇에 도입하는 것은 윤리적 혜택과 문제점이 함께 뒤섞인 가상의 판도라 상자인 셈이다. 버밍엄 대학교의 컴퓨터과학부의 강사인 윌리엄 에드먼슨(William
Edmonson)은 다음과 같이 썼다. “… 감정이 있는 로봇을 제작하는 것이 비윤리적인가 아니면 감정이 없는 로봇을 제작하는 것이 비윤리적인가?”
(337쪽)

인류가 멸종을 향해 간다는 한갓 추측에 지나지 않은 두려움을 바탕으로 컴퓨터 기술 또는 의료 과학의 발전 중 어느 것을 기꺼이 버릴 것인가? 위험해지는 문턱을 과학 연구가 언제 넘어갈지 누가 결정하는가? 인공 행위자 개발에 관한 연구의 어떤 영역이 예상 가능한 잠
재적 위험을 지니고 이 위험은 어떻게 다뤄질 것인가? 이러한 위험들 중 어떤 것이 관리될 수 있으며 어떤 것이 추가적인 연구가 금지돼야 하는가? 어떠한 우려 사항들이 규제와 감독을 필요로 하며, 이것이 과학 발전을 방해하지 않는 방식으로 어떻게 관리돼야 좋은가? 질문은 많지만 답은 거의 없다.
(363~364쪽)

인간은 언제나 이 세상에서 함께 할 동반자를 찾아왔다. 인간 이외의 동물에 대해 인간이 오랫동안 매료된 까닭은 동물이 인간과 가장 비슷한 존재라는 사실에서 비롯된다. 동물과의 유사점 및 차이는 인간으로 하여금 자신이 누구이며 어떤 존재인지에 대해 많은 것을 알려준다. AMA가 더욱 정교해지게 되면 이 시스템이 인간의 가치를 반영함에 따라 그에 상응하는 역할을 하게 될 것이다. 인간이 윤리가 무엇인지 이해하기 위해서라도 AMA의 개발보다 더 중요한 일은 세상에 없을 것이다.

왜 로봇의 도덕이 필요한가?<br/> 현대에는 자동차에서부터 쓰레기통에 이르기까지 상상 가능한 온갖 장치 속에 컴퓨터 칩이 내장되어 인간의 활동을 편리하게 해주며 감시하거나 분석하기도 한다. 또한 인터넷 검색에서부터 온라인 쇼핑에 이르기까지 상상 가능한 온갖 가상 환경 속의 소프트웨어 ‘봇(bot)’들도 그런 역할을 담당한다. 이 모든 발전은 인간에게 직접적인 조종을 받지 않으면서 인간의 복지에 잠재적인 영향을 미치는 (로)봇의 제작으로 수렴된다. <br/> 오늘날의 컴퓨터 시스템은 그 스스로 도덕적 결정을 내려야 할 정도로 엄청난 복잡성의 수준에 다다르고 있다. 이로 인해 도덕 행위자의 범위는 인간을 넘어 인공지능 시스템으로까지 확대되는데, 저자들은 이를 가리켜 ‘인공적 도덕 행위자 artificial moral agent, AMA’라고 부른다. 이때 AMA는 물리적 로봇과 소프트웨어 ‘봇(bot)’을 아울러 표현하는 ‘(로)봇’ 그리고 인공지능 시스템까지 포괄하는 개념이다. <br/> 문제는 인간의 감독을 벗어나 스스로 결정을 내릴 수 있는 컴퓨터 시스템에 의해 큰 재앙이 일어날 가능성이 점점 늘어나고 있다는 점이다. (로)봇 시스템이 금융에서 통신, 나아가 공공 안전에 이르기까지 사회의 거의 모든 분야에서 점점 더 자리잡아감에 따라 누군가의 범죄적 목적에 의해서가 아니라 재앙은 예기치 못한 사건들의 조합에서 생길 가능성이 커지기 때문이다. <br/> 현재의 컴퓨터는 워낙 복잡하다보니, 공학자는 어떤 시스템이 새로운 상황에서 어떻게 행동할지 예측할 수 없을 때가 흔히 있다. 수백 명의 공학자가 각자 자신이 맡은 부분의 설계를 담당한다. 서로 다른 회사・연구소 그리고 설계팀이 각각 별도의 하드웨어와 소프트웨어 구성부분을 개발하며 이것들을 결합해 최종 생산품이 나온다. 한 컴퓨터 시스템이 이처럼 모듈식 설계를 통해 생산되므로, 어떤 한 사람 또는 하나의 그룹은 그 시스템이 일련의 새로운 입력에 대해 어떻게 반응하고 작용할지 완벽히 파악할 수 없는 것이다.<br/> 저자들은, 그 재앙이 어떻게 시작되는가를 생생한 시나리오를 통해 섬뜩하게 보여주면서(14~17쪽) 로봇의 도덕에 대한 연구의 필요성에 지금 주목해야 하며, 이와 관련된 기술에 이해관계가 있는 사람이라면 누구든 컴퓨터・로봇 그리고 컴퓨터 네트워크 속의 가상 ‘봇 bots’에 도덕적 결정을 실행시키는 과제에 발 벗고 나서야 할 책임이 있다고 주장한다. <br/><br/><br/> 공상과학 소설의 악몽에서 벗어날 수 있게 해주는 소중한 안내서<br/> 그간 공상과학 소설과 영화에서는 주로 기술 발전이 몰고 올 공포를 보여줬다. 1968년 스탠리 큐브릭이 감독한 공상과학 영화 <2001 스페이스 오디세이>에서는 HAL9000 컴퓨터가 자신이 돌봐야 할 우주인을 죽이려 든다. 영화 <아이 로봇>에서는 아시모프의 로봇 3원칙을 탑재한 로봇 NS-5와, “로봇은 인류에게 해를 입히거나, 혹은 행동을 하지 않음으로써 인류가 해를 입도록 해서는 안 된다.”는 로봇 영 번째 원칙을 부정적으로 해석한 양전자 두뇌를 가진 시스템 ‘비키’가 나온다. <매트릭스>에서는 아무 것도 모르는 인간을 노예로 삼는 로봇이 나오고, <터미네이터>에서는 기계들의 지도자이자 군사 컴퓨터 ‘스카이넷’이 인간을 멸종시키려고 한다.<br/> 사람들이 기계의 도덕을 생각할 때 처음 떠올리는 것은 과학 소설가 아이작 아시모프(Isaac Asimov)가 1942년 한 단편소설에서 언급한 로봇 3원칙이다. 즉, ⑴ 로봇은 인간에게 해를 입히거나, 혹은 행동을 하지 않음으로써 인간이 해를 입도록 해서는 안 된다. ⑵ 로봇은 인간이 내리는 명령에 복종해야 하며, 단 이러한 명령들이 첫 번째 법칙에 위배될 때에는 예외로 한다. ⑶ 로봇은 자신의 존재를 보호해야 하며, 단 그러한 보호가 첫 번째와 두 번째 법칙에 위 배될 때에는 예외로 한다. <br/> 저자들은 아시모프의 로봇 3원칙은 이야기를 흥미롭게 풀어나가도록 마련한 허구의 소산일 뿐이며, 알고리즘 작성에 적용하기에도 마땅치 않다고 말한다. 영화 <로보캅>은 사이보그 경찰관이 로봇 3원칙의 딜레마에 빠진다. 즉, 범죄자인 자신의 회사 주인에게 복종하도록 프로그래밍된 상황이 그것이다. <br/> 이 책의 저자들은 “2001년이 벌써 지났지만 아서 C. 클라크(Arthur C. Clarke)의 HAL은 아직도 공상과학 소설로 남아 있다. 그리고 <터미네이터>의 종말 시나리오도 그 영화의 유통기한인 2029년 이전에는 실현되지 않는다고 보는 편이 타당할 것”이라면서 “현재 만연하고 있는 컴퓨터나 로봇에 관한 공상과학 소설의 여러 시나리오는 재미는 있을지 모르지만 존재하지 않거나 결코 존재할 수 없는 기술에 바탕을 두고 있다.”고 단언한다. <br/> 또 “공상과학 소설 시나리오에서는 AI 시스템이 언젠가는 인간을 제거하기를 원하는 존재로 진화할 것이라고 보는 시각이 숨어 있다. 공학자들은 인류의 필연적 멸종으로 이어질 내리막을 향해 나아가고 있는가? (로)봇에 의한 인류의 멸종이 필연적인 것이 아니다. 현재 우리의 관점에서 볼 때 위험성은 지극히 낮다. 그런 일이 가능할까? 그렇지 않을 것이다. 강력한 AI 제작의 걸림돌이 극복될 수 있는지조차 아직은 불분명하다. 만약 그것이 가능하고 이를 위한 플랫폼이 명확히 확립된다면, 그 다음에야 인류 멸절의 가능성을 차단하기 위해 이런 시스템에다 적절한 윤리적 제한을 가하는 일이 가능할지 모른다.”고 말한다.<br/> UCLA 기계항공공학과 데니스홍 박사는 “오늘날 현실의 로봇들의 능력과 그들이 할 수 있는 일들은 우리가 보통 공상과학 영화에서 보는 로봇들의 그것들과는 엄청난 차이가 있다. 현실의 휴머노이드 로봇들은 지금 겨우 걸음마를 떼는 상태이고, (데이터를 처리하고 계산하는 것을 제외한) 상황을 이해하고 스스로 판단하는 인공지능 로봇들도 사실은 한두 살 어린이의 지능에 불과하다. 세계 최고의 로봇 연구소들에서 만들어내는 멋진 로봇 프로토타입들도 막상 연구실에서 나와 현실에서 사용하려면 작동이 되지 않는 것이 보통이다.”라고 말하고 있다.<br/> 그러므로 로봇에 윤리적 의사결정 능력이 필요하며 이에 대한 연구가 시급하다는 주장은 시기상조일까? 자동화된 전력망, 자동화된 금융 시스템, 로봇 애완동물 그리고 로봇 진공청소기 등 오늘날의 기술들이 완전 자동화 기계에는 한참 미치지 못하지만, 인류는 공학 시스템이 사람들의 생명에 영향을 끼칠 수 있는 의사결정을 내리는 지점에 이미 도달해 있다.<br/><br/><br/> 흥미로운 철학적 질문부터 도전적인 공학적 과제까지<br/> 로봇을 비롯한 AMA가 도덕적 의사결정을 할 수 있도록 구현하는 일은, 인간이 어떻게 도덕적 가치 판단을 내리는지, 인간의 의사결정이 어떤 과정을 거치는지, 인간이 동물 또는 인간이 창조한 새로운 형태의 지성과 구별되는 속성이 무엇인지에 대한 탐구가 전제될 수밖에 없다. 즉 로봇의 도덕은 윤리학에 새로운 탐구 방향을 이끌어낼 수 있다.<br/> ‘로봇의 도덕’이라는 어구 자체가 모순어법 아닐까? 자동화된 시스템이 꼭 좋은 것일까? 이때 ‘좋은’이란 무슨 뜻일까? 설계자와 사용자가 부여한 특정한 목적에 따라 행동하는 것을 ‘좋다’고 한다면, 좋은 자동 행위자는 자신이 인간에게 해를 가하지 않고서는 행동을 취할 수 없다면 인간 감독자에게 알려야 할까? 그렇다면 충분히 자동화된 시스템이라고 할 수 있을까?<br/> 이 책은 이처럼 로봇의 윤리를 소개할 뿐 아니라 윤리학의 가장 깊은 근본을 파고들어 탐구한다. 저자들이 던지는 흥미로운 철학적 질문들은 독자들에게 흥미진진한 아이디어를 줄 것이며, 그 아이디어는 기존의 믿음을 다시 평가하게 만든다. 이 책이 “철학, 특히 응용 윤리학의 최근 도서들 가운데서 필독서가 되기에 손색이 없다.”고 평가받는 이유이기도 하다.<br/> 또 저자들은 “가장 정교한 AMA라고 하더라도 인간에 필적할 만큼 높은 수준의 도덕적 행위자는 결코 되지 못할 것이다. 하지만 기계가 진정으로 윤리적일 (또는 심지어 진정으로 자동화될) 수 있느냐란 질문을 진지하게 던질 때마다 늘 다음과 같은 공학적 도전 과제가 제기된다. 어떻게 인공적 행위자를 도덕적 행위자인 것처럼 행동하게 만들 것인가?”라면서 누구나 떠올릴 수 있는 의문이나 앞서 언급한 흥미로운 윤리적 질문을 로봇공학적 과제로 풀어 얘기해준다. 이런 식이다. “설계자나 주인의 손아귀에서 벗어나 실제 또는 가상의 세계 환경에 유연하게 반응하면서 작동하는 다목적 기계를 신뢰할 수 있으려면, 그들의 행동이 적절한 규범을 만족시킨다는 확신이 있어야 한다. 이는 전통적인 제품 안전을 넘어서는 문제다. … 만약 자동화된 시스템이 피해를 최소화시키려면 자신의 행동이 해로운 결과를 일으킬 수 있음을 ‘인식해야‘ 하며 이러한 ’지식‘에 비춰 자신의 행동을 선택해야 한다.”<br/><br/><br/> 로봇에게 도덕을 가르치는 일이 과연 가능할까? <br/> 그럼 어디에서 시작해야 좋을까? 저자들은 AMA 개발의 두 가지 차원으로 자율성과 윤리적 민감성을 언급한다. 두 차원은 독립적이다. 누군가가 더 자율적이 된다고 해서 가치에 대한 감수성이 풍부해지지는 않는다. 이는 10대 아이의 경우와 마찬가지로 기술에도 해당된다. <br/> 상당한 자율성을 갖추고 있지만 윤리적 민감성은 거의 없는 시스템으로는 비행기의 자동조정 장치가 있다. 자율성은 적지만 어느 정도 윤리적 민감성을 갖춘 시스템으로는 윤리적 의사결정 지원 시스템(ethical decision support system)을 꼽을 수 있다. 이 시스템은 의사결정자가 해당 사안과 도덕적 관련성이 있는 정보에 접근하도록 해주는데, 이런 소프트웨어는 학생들에게 역사적으로 중요하거나 가상적인 사례를 제시해주고, 일부 프로그램은 임상의가 적절한 행동 과정을 윤리적으로 선택하도록 돕기도 한다. 컴퓨터 과학자 마이클 앤더슨(Michael Anderson)과 철학자 수전 앤더슨(Susan Anderson) 부부 연구팀이 설계한 의학윤리 전문가 시스템인 MedEthEx가 한 예다.<br/> 다음과 같은 가정을 해보자. 의사인 당신은 정신적인 문제가 있는 환자를 맡고 있다. 환자는 생존에 가장 좋은 치료법을 거부하고 있다. 당신은 환자를 다시 한 번 설득해야 할까?(환자의 자율성을 존중할 의무에 어긋날 수 있다.) 아니면 그의 결정을 받아들여야 할까?(환자를 가장 이롭게 돌볼 의사의 의무에 어긋날 수 있다.) MedEthEx는 의료진에게 그런 사례에 관한 일련의 질문에 답하도록 이끈다. 그러고 나서 비슷한 사례에서 얻은 전문가 판단 모델을 바탕으로 삼아 윤리적으로 적절한 대처 방안을 제시한다. <br/> 위와 같은 자동조종 장치, 의사결정 지원 시스템 그리고 감성적인 상호작용을 할 수 있는 기본적 능력을 갖춘 로봇 등은 모두 인공 도덕 분야의 출발점을 제공한다. 매우 제한적이지만이러한 시스템은 설계자의 가치가 구현된 것이다. 설계자는 시스템이 작동하는 대부분의 환경을 예상해야 하며, 그러한 환경에서 취할 수 있는 행동은 엄격한 제약 속에 놓이게 된다. 운영자들이 언제나 매뉴얼대로 시스템을 사용하는 것은 아니지만, 문서화된 안전 매뉴얼은 시스템을 적절하고 안전하며 윤리적으로 사용해야 한다는 과제를 운용자에게 안겨준다. <br/> 저자들은 또 컴퓨터 윤리 분야의 창시자들 중 한 명인, 제임스 무어(James Moor) 다트머스 대학 철학교수가 제시한 AMA를 범주화하는 위계적 체계를 거론하며 AMA 개발의 단계를 보여준다. 즉, 자신의 행동에 대한 윤리적 결과를 평가받는 모든 기계를 가리키는 ‘윤리적 영향 행위자 ethical impact agent’, 부정적인 윤리적 결과를 내놓지 않도록 설계자가 공을 들여 설계한 기계를 뜻하는 ‘내재적인 윤리적 행위자 implicit ethical agent’, 내부적 프로그래밍의 일부로 윤리적 범주들을 사용해 윤리에 관해 사고하는 기계를 가리키는 ‘명시적인 윤리적 행위자 explicit ethical agent’, 명시적인 도덕적 판단을 내릴 수 있으며 일반적으로 그런 결정을 정당화하는 데에도 능한 기계를 가리키는 ‘완전한 윤리적 행위자 full ethical agent’다.<br/> 제임스 무어 교수는 명시적인 윤리적 행위자가 기계 윤리라는 신흥 분야의 목표가 돼야 한다고 주장한다. 그 이상을 추구할 수 있는지 여부는 철학적 주장이나 공학적 실험으로는 가까운 장래에 해결될 수 없다고 한다.<br/> 저자들은 “진정한 공학적 과제는 명확한 성공 기준이 있어야 달성되는 법”이라면서 “어떻게 도덕적 민감성과 도덕적 행위에 대한 기준을 개발할 수 있을까?”라는 화두를 제시한다. 그러면서 다음과 같은 근본적인 질문을 던진다. “도덕적 의사결정을 기계화하려고 시도한다면 인간에게 어떤 결과가 생길 것인가? 기계를 지능적 행위자로 만들려는 시도는 납을 황금으로 바꾸려 했던 연금술사의 시도와 마찬가지로 잘못된 것이 아닐까?”<br/><br/><br/> 사람들은 컴퓨터가 도덕적 의사결정을 내리기를 원할까?<br/> 윤리는 그 속성상 윤리적 결정을 내리는 컴퓨터를 허용할지에 관해 갖가지 제약을 가한다. 따라서 자연스레 사람들은 컴퓨터가 도덕적 결정을 내리기를 원하는지 여부를 묻게 된다. AMA에 관한 우려는, 기술이 인간 문화에 미치는 영향에 관한 일반적인 걱정의 여러 맥락을 보여준다. 어떤 이들은 정교한 기술 때문에 생긴 불안을 그보다 훨씬 더 정교한 기술로 누그러뜨릴 수 있다는 발상은 모순이라며, 가뜩이나 기술발전에 불편함을 느끼는 마당에 AMA까지 나온다니 더욱 못마땅하다고 호소한다. 기술에 대한 매혹과 그 기술이 던져주는 불안 사이에는 긴장이 존재한다. 인간이 말 그대로 기계의 노예가 되리라는 전망은 섣부른 짐작이지만, AMA로 인해 인류가 자신의 책임을 기계에 떠넘기지 않을까 라는 걱정은 시급한 문제다. <br/> 기계의 도덕을 구현하기 위한 초기 시도는 의사결정자를 위한 소프트웨어 지원 도구라는 형태일 가능성이 큰데, 그런 지원 도구에 지나치게 의지하는 바람에 그 사용자가 자신의 비판적 사고를 버리고 기계가 내놓은 답만 좇을 위험이 있다는 것이다. 사회과학자인 바트야 프리드먼(Batya Friedman)과 피터 칸(Peter Kahn)은 의사결정 지원 도구(decision support tools, DST)에 관해 인간 의사결정자가 도덕적 책임을 포기하도록 하는 계기를 만들어주며, 결국 DST가 의사결정 과정을 장악해버릴 위험이 도사리고 있다고 본다. 그들은 60만 명 이상의 환자 데이터베이스가 담겨 미국 병원들에 판매되는 DST를 예로 든다. 고위험, 고비용 환자들을 다루는 내과의사와 병원 행정직원들에게 실시간으로 위험 조정 임상・비용 정보를 제공하는 APACHE라는 시스템이다. 병원에 APACHE를 도입한다고 해서 의사의 자율성이 줄어들었을까? 이 질문에 답을 하기란 어렵지만, 걸핏하면 소송이 벌어지는 시대이므로 의료 전문가들은 충분한 치료 기록이 축적돼 있는 DST의 결론을 가급적 문제 삼지 않는 편이 좋다고 여긴다는 것이다. <br/> 로봇을 인간의 삶 속으로 받아들이면 소중한 인간적 가치들을 약화시키고 사람들의 인간성을 타락시키게 될까? 저자들은 인간-로봇 상호작용으로 인해 생기는 사회적 우려로 로봇 전투병을 예로 든다. 인간이 전투에 참여할 필요성을 줄임으로써 군인・선원・조종사의 목숨을 살려낸다는 명목으로 로봇 전투병은 2006년 이라크와 아프가니스탄에 투입된 바 있으며, 미국은 군사 로봇 개발에 수십조 달러를 투자하고 있다. 로봇 전투 기계는 아시모프의 로봇 3원칙ㅡ 인간에게 해를 가하거나 인간을 죽이지 못하도록 하는 원칙 ㅡ 에 방해를 받지 않을 것이다. 일단 로봇이 살상 허락을 받으면 어떤 특정한 사람을 죽여도 되는지 판단하기 위한 실시간 의사결정이 필요하다. 따라서 문제는 명백하다. 언제, 어디에서 그리고 누구를 향해 살상력이 허용될지에 관한 도덕적 결정을 내리는 능력을 완벽히 구현하지 않는 한, 로봇 전투 기계가 인간에게 해를 끼칠 가능성을 줄일 방법은 없다는 점이 그것이다. 게다가 로봇은 적 전투원을 죽일 뿐 아니라 민간인의 죽음(‘부수적 피해’) 및 아군의 죽음(‘오발 사고’)도 유발하게 될 것이다.<br/> <br/> <br/> 로봇이 도덕적일 수 있을까?<br/> 많은 사람들은 기계는 의식을 지닐 수 없으며, 인간의 가장 중요한 관계를 규정하고 인간의 윤리적 규범을 형성해주는 진정한 이해와 감정을 가질 수 없다고 믿는다. 이런 능력은 과연 무엇일까?(존재론적 질문) 그런 능력에 관해 과학적으로 무엇을 알아낼 수 있을까?(인식론적 질문) 인공적 도덕은 이런 질문에 대한 답에 의존할까?(실제적인 질문) (로)봇의 행동을 설명하기 위해 ‘도덕적’ 또는 ‘윤리적’이란 용어를 사용하는 것은 단지 개념상의 혼동만 초래하지 않을까? (로)봇은 진정으로 도덕적 행위자일 수 있을까? 그리고 이를 어떻게 알 수 있을까?<br/> 진정한 도덕적 행위자가 되려면 무엇이 필요한까? 이 질문에는 다양한 답이 존재하는데 어떤 답은 의식적 추론에, 또 어떤 답은 자유의지나 도덕적 책임이라는 사안에 초점을 맞춘 것이다. 인간의 자유의지라는 개념은 종종 꽤나 불가사의한 것, 즉 자유롭게 행동한다는 느낌의 바탕을 이루는 것이라고 여겨진다. 자유의지에 마법적인 요소가 있으리라는 예감은 부정할 수 없다고 하더라도 그런 점을 AMA 제작의 공학적 과제에 적용할 수는 없다.<br/> 도덕적 행위자로서 인간 경험의 핵심적 특징은, 사람이란 이기적 행동과 이타적 행동 사이에서 균형을 잡는 존재라는 점이다. 사람들은 두 가지 방향의 인력을 느끼는데 이 긴장이 자유의 가능성 ㅡ 나쁜 일과 옳은 일을 할 동등한 자유 ㅡ 을 마련한다. 그렇다면 어떻게 결정론적인 시스템에서 윤리가 생길 수 있을까? 저자들은 “만약 진정한 도덕적 행위자에 대한 당신의 개념에 자유의지라는 ‘마법적’ 개념이 포함돼 있다면 인간이 자유의지를 갖는지 확인할 방법은 없다.”고 말한다.<br/> 자유의지와 마찬가지로 인간의 이해와 의식은 많은 사람들에게 마법적인 매력으로 다가온다. 하지만 어떤 종류의 이해를 (로)봇은 실제로 가질 수 있는가? 아울러 그것이 AMA 제작에 적합한가? AMA에 의식이 필요한가? 저자들은 ‘이해’가 사회적・물리적 환경에 적절하게 그리고 적응적으로 반응하는 능력이라면, 적절하게 체화되고 구현된 컴퓨터가 이러한 반응을 할 수 없다고 여길 아무런 이유가 없다고 말한다. 기계의 의식은 AI 내의 하위 전문분야로서 발전하고 있는데, 기계의 의식을 연구하는 로봇 과학자들은 인간과 비견할 만한 의식을 지닌 시스템을 제작하는 일은 아직도 요원하다는 것을 잘 알고 있다. 그렇기는 하지만 연구자들은 기능적으로뿐 아니라 현상학적으로도 의식적인 로봇이 언젠가는 개발될 것이라고 확신한다. <br/> 어떤 철학자들은 현상학적 의식에는 기능적 의식을 훨씬 뛰어넘는 무언가가 필요하다고 주장하면서, 인간에 비견할 만한 의식을 드러내주는 과제를 수행하는 컴퓨터의 성공에 결코 만족하려 하지 않을 것이다. 하지만 저자들은 “관찰 가능한 행동 면에서 아무런 차이가 없는 이러한 의식 개념은 AMA의 개발과는 무관하다. 행동에 관한 기능적 의식이야말로 AMA를 실제로 설계하는 일에 중요한 것이다. 컴퓨터를 인간의 행동으로 수렴하게 만드는 방법에 관해 새로운 발상이 있는 한, 발전의 전망도 존재하는 법이다.”라며 낙관하고 있다.

“오늘날 현실의 로봇들의 능력과 그들이 할 수 있는 일들은 우리가 보통 공상과학 영화에서 보는 로봇들의 그것들과는 엄청난 차이가 있다. 현실의 휴머노이드 로봇들은 지금 겨우 걸음마를 떼는 상태이고, (데이터를 처리하고 계산하는 것을 제외한) 상황을 이해하고 스스로 판단하는 인공지능 로봇들도 사실은 한두 살 어린이의 지능에 불과하다. 세계 최고의 로봇 연구소들에서 만들어내는 멋진 로봇 프로토타입들도 막상 연구실에서 나와 현실에서 사용하려면 작동이 되지 않는 것이 보통이다. 이러한 상황에서 '로봇과 윤리' 혹은 '기계와 도덕'에 관해 진지한 토론을 하려는 것은 너무 이른 감이 없지 않다는 생각이 들지도 모른다. 하지만 이 책은 바로 이런 미래에 올 주제들에 관해 멋지게 통찰하고 세계 최고 권위자들의 조언과 함께 독자들에게 심오한 이해를 준다. 영화 속에서 보고 우리가 상상하는 인공지능 로봇들이 언젠가는 현실화될 것은 확실하다. 이 책은 기계의 도덕뿐 아니라 기계를 사용하는 사람, 그리고 연구자와 개발자의 윤리에 대해서도 생각해보는 계기를 주고 로봇의 윤리도 그렇지만, 바로 우리 인간 자신에 대해서 생각해보게 하는 아주 중요한 책이다.”
데니스홍 박사, UCLA 기계항공공학과 교수, RoMeLa 로봇 연구소 소장

“그간 공상과학 소설과 영화를 통해 꾸준히 제기되어온 기계의 도덕성은, 개인화된 검색엔진기술, 조만간 상용화될 무인자동차, 인간과 공존하게 될 서비스로봇 등 지능 기계의 출현으로 이제 현실의 문제로 다가오고 있다. ‘기계의 도덕’은 이러한 지능적 존재의 윤리적 문제를 다룬 최초의 저술이며, 과학기술에서 인문과학의 역할이 무엇인지를 잘 보여주는 책이다.”
김홍석 박사, 한국생산기술연구원 로봇연구실용화그룹 수석연구원

“로봇공학도로서 항상 가지고 있는 두려움이 있다. 내가 개발하고 있는 로봇이 사회에 해가 되지 않을까? 이 책에서 이런 고민이 ‘인공적 도덕 행위자 AMA' 개발에 관한 문제로 구체화 된다. 저자는 윤리에 대한 탐구에서부터 윤리적인 로봇을 개발하기 위한 고민과 방법들을 제시한다. 책을 덮을 때쯤 로봇을 어떻게 개발해야 할지 윤곽이 잡히는 듯하다. 로봇에 대한 기대와 두려움을 가지고 있는 모든 분들께 권하고 싶은 책이다.”
한재권 박사, 로보티즈 수석연구원

“로봇 윤리라는 신흥 분야의 훌륭한 입문서다. 윤리학자?철학자?인지과학자 그리고 로봇공학자 모두 관심을 가질 내용이 가득하다.”
피터 다니엘슨(Peter Danielson), Notre Dame Philosophical Reviews

“풍부한 사례와 교훈, 일어날지 모르는 사건의 시나리오, 그리고 현존하는 인공 행위자에 대한 첨단 연구와 실행에 대한 정교한 논의가 가득하다. 이 책은 컴퓨터 윤리라는 분야를 넘어 기계의 도덕에 관한 규범이라 불릴 것이다. 강력하게 추천한다.
트라야코브스키(G. Trajkovski), Choice

“공상과학 소설의 악몽에서 벗어날 수 있게 해주는 참으로 소중한 안내서”
존 길비(John Gilby), Times Higher Education

“이 책에서 저자들은 기계 윤리를 소개할 뿐 아니라 윤리학의 가장 깊은 근본을 파고들어 탐구한다. 성실한 독자라면 분명 이 책에서 흥미진진한 아이디어를 많이 찾아낼 것이다. 그 아이디어는 기존의 믿음을 다시 평가하게 만들고 아울러 이 책을 철학, 특히 응용 윤리학의 최근 도서들 가운데서 필독서로 만들기에 손색이 없다.”
토니 비버(Tony Beavers), Ethics and Information Technology

“이 책은 ‘도덕적 기계’라는 어구가 모순어법이 아니라는 것을 보여주는 데 성공하고 있다. 또한 심리학자들이 친숙하게 될 연구 분야이자 어떤 점에서는 우리가 많은 것을 배우게 될 분야로 통하는 관문이 될 것이다.”
PsycCRITIQUES

“이 책은 많은 흥미로운 철학적 질문, 도전적인 공학적 과제 그리고 중요한 미래 논쟁거리의 핵심을 던져준다. 두 저자는 유익하고 즐겁게 읽을 수 있도록 명료하게 서술했다. 이 분야에 관심을 가진 모든 이들에게 강력하게 추천한다.”
Philosophical Psychology