왜 로봇의 도덕이 필요한가?
현대에는 자동차에서부터 쓰레기통에 이르기까지 상상 가능한 온갖 장치 속에 컴퓨터 칩이 내장되어 인간의 활동을 편리하게 해주며 감시하거나 분석하기도 한다. 또한 인터넷 검색에서부터 온라인 쇼핑에 이르기까지 상상 가능한 온갖 가상 환경 속의 소프트웨어 ‘봇(bot)’들도 그런 역할을 담당한다. 이 모든 발전은 인간에게 직접적인 조종을 받지 않으면서 인간의 복지에 잠재적인 영향을 미치는 (로)봇의 제작으로 수렴된다.
오늘날의 컴퓨터 시스템은 그 스스로 도덕적 결정을 내려야 할 정도로 엄청난 복잡성의 수준에 다다르고 있다. 이로 인해 도덕 행위자의 범위는 인간을 넘어 인공지능 시스템으로까지 확대되는데, 저자들은 이를 가리켜 ‘인공적 도덕 행위자 artificial moral agent, AMA’라고 부른다. 이때 AMA는 물리적 로봇과 소프트웨어 ‘봇(bot)’을 아울러 표현하는 ‘(로)봇’ 그리고 인공지능 시스템까지 포괄하는 개념이다.
문제는 인간의 감독을 벗어나 스스로 결정을 내릴 수 있는 컴퓨터 시스템에 의해 큰 재앙이 일어날 가능성이 점점 늘어나고 있다는 점이다. (로)봇 시스템이 금융에서 통신, 나아가 공공 안전에 이르기까지 사회의 거의 모든 분야에서 점점 더 자리잡아감에 따라 누군가의 범죄적 목적에 의해서가 아니라 재앙은 예기치 못한 사건들의 조합에서 생길 가능성이 커지기 때문이다.
현재의 컴퓨터는 워낙 복잡하다보니, 공학자는 어떤 시스템이 새로운 상황에서 어떻게 행동할지 예측할 수 없을 때가 흔히 있다. 수백 명의 공학자가 각자 자신이 맡은 부분의 설계를 담당한다. 서로 다른 회사・연구소 그리고 설계팀이 각각 별도의 하드웨어와 소프트웨어 구성부분을 개발하며 이것들을 결합해 최종 생산품이 나온다. 한 컴퓨터 시스템이 이처럼 모듈식 설계를 통해 생산되므로, 어떤 한 사람 또는 하나의 그룹은 그 시스템이 일련의 새로운 입력에 대해 어떻게 반응하고 작용할지 완벽히 파악할 수 없는 것이다.
저자들은, 그 재앙이 어떻게 시작되는가를 생생한 시나리오를 통해 섬뜩하게 보여주면서(14~17쪽) 로봇의 도덕에 대한 연구의 필요성에 지금 주목해야 하며, 이와 관련된 기술에 이해관계가 있는 사람이라면 누구든 컴퓨터・로봇 그리고 컴퓨터 네트워크 속의 가상 ‘봇 bots’에 도덕적 결정을 실행시키는 과제에 발 벗고 나서야 할 책임이 있다고 주장한다.


공상과학 소설의 악몽에서 벗어날 수 있게 해주는 소중한 안내서
그간 공상과학 소설과 영화에서는 주로 기술 발전이 몰고 올 공포를 보여줬다. 1968년 스탠리 큐브릭이 감독한 공상과학 영화 <2001 스페이스 오디세이>에서는 HAL9000 컴퓨터가 자신이 돌봐야 할 우주인을 죽이려 든다. 영화 <아이 로봇>에서는 아시모프의 로봇 3원칙을 탑재한 로봇 NS-5와, “로봇은 인류에게 해를 입히거나, 혹은 행동을 하지 않음으로써 인류가 해를 입도록 해서는 안 된다.”는 로봇 영 번째 원칙을 부정적으로 해석한 양전자 두뇌를 가진 시스템 ‘비키’가 나온다. <매트릭스>에서는 아무 것도 모르는 인간을 노예로 삼는 로봇이 나오고, <터미네이터>에서는 기계들의 지도자이자 군사 컴퓨터 ‘스카이넷’이 인간을 멸종시키려고 한다.
사람들이 기계의 도덕을 생각할 때 처음 떠올리는 것은 과학 소설가 아이작 아시모프(Isaac Asimov)가 1942년 한 단편소설에서 언급한 로봇 3원칙이다. 즉, ⑴ 로봇은 인간에게 해를 입히거나, 혹은 행동을 하지 않음으로써 인간이 해를 입도록 해서는 안 된다. ⑵ 로봇은 인간이 내리는 명령에 복종해야 하며, 단 이러한 명령들이 첫 번째 법칙에 위배될 때에는 예외로 한다. ⑶ 로봇은 자신의 존재를 보호해야 하며, 단 그러한 보호가 첫 번째와 두 번째 법칙에 위 배될 때에는 예외로 한다.
저자들은 아시모프의 로봇 3원칙은 이야기를 흥미롭게 풀어나가도록 마련한 허구의 소산일 뿐이며, 알고리즘 작성에 적용하기에도 마땅치 않다고 말한다. 영화 <로보캅>은 사이보그 경찰관이 로봇 3원칙의 딜레마에 빠진다. 즉, 범죄자인 자신의 회사 주인에게 복종하도록 프로그래밍된 상황이 그것이다.
이 책의 저자들은 “2001년이 벌써 지났지만 아서 C. 클라크(Arthur C. Clarke)의 HAL은 아직도 공상과학 소설로 남아 있다. 그리고 <터미네이터>의 종말 시나리오도 그 영화의 유통기한인 2029년 이전에는 실현되지 않는다고 보는 편이 타당할 것”이라면서 “현재 만연하고 있는 컴퓨터나 로봇에 관한 공상과학 소설의 여러 시나리오는 재미는 있을지 모르지만 존재하지 않거나 결코 존재할 수 없는 기술에 바탕을 두고 있다.”고 단언한다.
또 “공상과학 소설 시나리오에서는 AI 시스템이 언젠가는 인간을 제거하기를 원하는 존재로 진화할 것이라고 보는 시각이 숨어 있다. 공학자들은 인류의 필연적 멸종으로 이어질 내리막을 향해 나아가고 있는가? (로)봇에 의한 인류의 멸종이 필연적인 것이 아니다. 현재 우리의 관점에서 볼 때 위험성은 지극히 낮다. 그런 일이 가능할까? 그렇지 않을 것이다. 강력한 AI 제작의 걸림돌이 극복될 수 있는지조차 아직은 불분명하다. 만약 그것이 가능하고 이를 위한 플랫폼이 명확히 확립된다면, 그 다음에야 인류 멸절의 가능성을 차단하기 위해 이런 시스템에다 적절한 윤리적 제한을 가하는 일이 가능할지 모른다.”고 말한다.
UCLA 기계항공공학과 데니스홍 박사는 “오늘날 현실의 로봇들의 능력과 그들이 할 수 있는 일들은 우리가 보통 공상과학 영화에서 보는 로봇들의 그것들과는 엄청난 차이가 있다. 현실의 휴머노이드 로봇들은 지금 겨우 걸음마를 떼는 상태이고, (데이터를 처리하고 계산하는 것을 제외한) 상황을 이해하고 스스로 판단하는 인공지능 로봇들도 사실은 한두 살 어린이의 지능에 불과하다. 세계 최고의 로봇 연구소들에서 만들어내는 멋진 로봇 프로토타입들도 막상 연구실에서 나와 현실에서 사용하려면 작동이 되지 않는 것이 보통이다.”라고 말하고 있다.
그러므로 로봇에 윤리적 의사결정 능력이 필요하며 이에 대한 연구가 시급하다는 주장은 시기상조일까? 자동화된 전력망, 자동화된 금융 시스템, 로봇 애완동물 그리고 로봇 진공청소기 등 오늘날의 기술들이 완전 자동화 기계에는 한참 미치지 못하지만, 인류는 공학 시스템이 사람들의 생명에 영향을 끼칠 수 있는 의사결정을 내리는 지점에 이미 도달해 있다.


흥미로운 철학적 질문부터 도전적인 공학적 과제까지
로봇을 비롯한 AMA가 도덕적 의사결정을 할 수 있도록 구현하는 일은, 인간이 어떻게 도덕적 가치 판단을 내리는지, 인간의 의사결정이 어떤 과정을 거치는지, 인간이 동물 또는 인간이 창조한 새로운 형태의 지성과 구별되는 속성이 무엇인지에 대한 탐구가 전제될 수밖에 없다. 즉 로봇의 도덕은 윤리학에 새로운 탐구 방향을 이끌어낼 수 있다.
‘로봇의 도덕’이라는 어구 자체가 모순어법 아닐까? 자동화된 시스템이 꼭 좋은 것일까? 이때 ‘좋은’이란 무슨 뜻일까? 설계자와 사용자가 부여한 특정한 목적에 따라 행동하는 것을 ‘좋다’고 한다면, 좋은 자동 행위자는 자신이 인간에게 해를 가하지 않고서는 행동을 취할 수 없다면 인간 감독자에게 알려야 할까? 그렇다면 충분히 자동화된 시스템이라고 할 수 있을까?
이 책은 이처럼 로봇의 윤리를 소개할 뿐 아니라 윤리학의 가장 깊은 근본을 파고들어 탐구한다. 저자들이 던지는 흥미로운 철학적 질문들은 독자들에게 흥미진진한 아이디어를 줄 것이며, 그 아이디어는 기존의 믿음을 다시 평가하게 만든다. 이 책이 “철학, 특히 응용 윤리학의 최근 도서들 가운데서 필독서가 되기에 손색이 없다.”고 평가받는 이유이기도 하다.
또 저자들은 “가장 정교한 AMA라고 하더라도 인간에 필적할 만큼 높은 수준의 도덕적 행위자는 결코 되지 못할 것이다. 하지만 기계가 진정으로 윤리적일 (또는 심지어 진정으로 자동화될) 수 있느냐란 질문을 진지하게 던질 때마다 늘 다음과 같은 공학적 도전 과제가 제기된다. 어떻게 인공적 행위자를 도덕적 행위자인 것처럼 행동하게 만들 것인가?”라면서 누구나 떠올릴 수 있는 의문이나 앞서 언급한 흥미로운 윤리적 질문을 로봇공학적 과제로 풀어 얘기해준다. 이런 식이다. “설계자나 주인의 손아귀에서 벗어나 실제 또는 가상의 세계 환경에 유연하게 반응하면서 작동하는 다목적 기계를 신뢰할 수 있으려면, 그들의 행동이 적절한 규범을 만족시킨다는 확신이 있어야 한다. 이는 전통적인 제품 안전을 넘어서는 문제다. … 만약 자동화된 시스템이 피해를 최소화시키려면 자신의 행동이 해로운 결과를 일으킬 수 있음을 ‘인식해야‘ 하며 이러한 ’지식‘에 비춰 자신의 행동을 선택해야 한다.”


로봇에게 도덕을 가르치는 일이 과연 가능할까?
그럼 어디에서 시작해야 좋을까? 저자들은 AMA 개발의 두 가지 차원으로 자율성과 윤리적 민감성을 언급한다. 두 차원은 독립적이다. 누군가가 더 자율적이 된다고 해서 가치에 대한 감수성이 풍부해지지는 않는다. 이는 10대 아이의 경우와 마찬가지로 기술에도 해당된다.
상당한 자율성을 갖추고 있지만 윤리적 민감성은 거의 없는 시스템으로는 비행기의 자동조정 장치가 있다. 자율성은 적지만 어느 정도 윤리적 민감성을 갖춘 시스템으로는 윤리적 의사결정 지원 시스템(ethical decision support system)을 꼽을 수 있다. 이 시스템은 의사결정자가 해당 사안과 도덕적 관련성이 있는 정보에 접근하도록 해주는데, 이런 소프트웨어는 학생들에게 역사적으로 중요하거나 가상적인 사례를 제시해주고, 일부 프로그램은 임상의가 적절한 행동 과정을 윤리적으로 선택하도록 돕기도 한다. 컴퓨터 과학자 마이클 앤더슨(Michael Anderson)과 철학자 수전 앤더슨(Susan Anderson) 부부 연구팀이 설계한 의학윤리 전문가 시스템인 MedEthEx가 한 예다.
다음과 같은 가정을 해보자. 의사인 당신은 정신적인 문제가 있는 환자를 맡고 있다. 환자는 생존에 가장 좋은 치료법을 거부하고 있다. 당신은 환자를 다시 한 번 설득해야 할까?(환자의 자율성을 존중할 의무에 어긋날 수 있다.) 아니면 그의 결정을 받아들여야 할까?(환자를 가장 이롭게 돌볼 의사의 의무에 어긋날 수 있다.) MedEthEx는 의료진에게 그런 사례에 관한 일련의 질문에 답하도록 이끈다. 그러고 나서 비슷한 사례에서 얻은 전문가 판단 모델을 바탕으로 삼아 윤리적으로 적절한 대처 방안을 제시한다.
위와 같은 자동조종 장치, 의사결정 지원 시스템 그리고 감성적인 상호작용을 할 수 있는 기본적 능력을 갖춘 로봇 등은 모두 인공 도덕 분야의 출발점을 제공한다. 매우 제한적이지만이러한 시스템은 설계자의 가치가 구현된 것이다. 설계자는 시스템이 작동하는 대부분의 환경을 예상해야 하며, 그러한 환경에서 취할 수 있는 행동은 엄격한 제약 속에 놓이게 된다. 운영자들이 언제나 매뉴얼대로 시스템을 사용하는 것은 아니지만, 문서화된 안전 매뉴얼은 시스템을 적절하고 안전하며 윤리적으로 사용해야 한다는 과제를 운용자에게 안겨준다.
저자들은 또 컴퓨터 윤리 분야의 창시자들 중 한 명인, 제임스 무어(James Moor) 다트머스 대학 철학교수가 제시한 AMA를 범주화하는 위계적 체계를 거론하며 AMA 개발의 단계를 보여준다. 즉, 자신의 행동에 대한 윤리적 결과를 평가받는 모든 기계를 가리키는 ‘윤리적 영향 행위자 ethical impact agent’, 부정적인 윤리적 결과를 내놓지 않도록 설계자가 공을 들여 설계한 기계를 뜻하는 ‘내재적인 윤리적 행위자 implicit ethical agent’, 내부적 프로그래밍의 일부로 윤리적 범주들을 사용해 윤리에 관해 사고하는 기계를 가리키는 ‘명시적인 윤리적 행위자 explicit ethical agent’, 명시적인 도덕적 판단을 내릴 수 있으며 일반적으로 그런 결정을 정당화하는 데에도 능한 기계를 가리키는 ‘완전한 윤리적 행위자 full ethical agent’다.
제임스 무어 교수는 명시적인 윤리적 행위자가 기계 윤리라는 신흥 분야의 목표가 돼야 한다고 주장한다. 그 이상을 추구할 수 있는지 여부는 철학적 주장이나 공학적 실험으로는 가까운 장래에 해결될 수 없다고 한다.
저자들은 “진정한 공학적 과제는 명확한 성공 기준이 있어야 달성되는 법”이라면서 “어떻게 도덕적 민감성과 도덕적 행위에 대한 기준을 개발할 수 있을까?”라는 화두를 제시한다. 그러면서 다음과 같은 근본적인 질문을 던진다. “도덕적 의사결정을 기계화하려고 시도한다면 인간에게 어떤 결과가 생길 것인가? 기계를 지능적 행위자로 만들려는 시도는 납을 황금으로 바꾸려 했던 연금술사의 시도와 마찬가지로 잘못된 것이 아닐까?”


사람들은 컴퓨터가 도덕적 의사결정을 내리기를 원할까?
윤리는 그 속성상 윤리적 결정을 내리는 컴퓨터를 허용할지에 관해 갖가지 제약을 가한다. 따라서 자연스레 사람들은 컴퓨터가 도덕적 결정을 내리기를 원하는지 여부를 묻게 된다. AMA에 관한 우려는, 기술이 인간 문화에 미치는 영향에 관한 일반적인 걱정의 여러 맥락을 보여준다. 어떤 이들은 정교한 기술 때문에 생긴 불안을 그보다 훨씬 더 정교한 기술로 누그러뜨릴 수 있다는 발상은 모순이라며, 가뜩이나 기술발전에 불편함을 느끼는 마당에 AMA까지 나온다니 더욱 못마땅하다고 호소한다. 기술에 대한 매혹과 그 기술이 던져주는 불안 사이에는 긴장이 존재한다. 인간이 말 그대로 기계의 노예가 되리라는 전망은 섣부른 짐작이지만, AMA로 인해 인류가 자신의 책임을 기계에 떠넘기지 않을까 라는 걱정은 시급한 문제다.
기계의 도덕을 구현하기 위한 초기 시도는 의사결정자를 위한 소프트웨어 지원 도구라는 형태일 가능성이 큰데, 그런 지원 도구에 지나치게 의지하는 바람에 그 사용자가 자신의 비판적 사고를 버리고 기계가 내놓은 답만 좇을 위험이 있다는 것이다. 사회과학자인 바트야 프리드먼(Batya Friedman)과 피터 칸(Peter Kahn)은 의사결정 지원 도구(decision support tools, DST)에 관해 인간 의사결정자가 도덕적 책임을 포기하도록 하는 계기를 만들어주며, 결국 DST가 의사결정 과정을 장악해버릴 위험이 도사리고 있다고 본다. 그들은 60만 명 이상의 환자 데이터베이스가 담겨 미국 병원들에 판매되는 DST를 예로 든다. 고위험, 고비용 환자들을 다루는 내과의사와 병원 행정직원들에게 실시간으로 위험 조정 임상・비용 정보를 제공하는 APACHE라는 시스템이다. 병원에 APACHE를 도입한다고 해서 의사의 자율성이 줄어들었을까? 이 질문에 답을 하기란 어렵지만, 걸핏하면 소송이 벌어지는 시대이므로 의료 전문가들은 충분한 치료 기록이 축적돼 있는 DST의 결론을 가급적 문제 삼지 않는 편이 좋다고 여긴다는 것이다.
로봇을 인간의 삶 속으로 받아들이면 소중한 인간적 가치들을 약화시키고 사람들의 인간성을 타락시키게 될까? 저자들은 인간-로봇 상호작용으로 인해 생기는 사회적 우려로 로봇 전투병을 예로 든다. 인간이 전투에 참여할 필요성을 줄임으로써 군인・선원・조종사의 목숨을 살려낸다는 명목으로 로봇 전투병은 2006년 이라크와 아프가니스탄에 투입된 바 있으며, 미국은 군사 로봇 개발에 수십조 달러를 투자하고 있다. 로봇 전투 기계는 아시모프의 로봇 3원칙ㅡ 인간에게 해를 가하거나 인간을 죽이지 못하도록 하는 원칙 ㅡ 에 방해를 받지 않을 것이다. 일단 로봇이 살상 허락을 받으면 어떤 특정한 사람을 죽여도 되는지 판단하기 위한 실시간 의사결정이 필요하다. 따라서 문제는 명백하다. 언제, 어디에서 그리고 누구를 향해 살상력이 허용될지에 관한 도덕적 결정을 내리는 능력을 완벽히 구현하지 않는 한, 로봇 전투 기계가 인간에게 해를 끼칠 가능성을 줄일 방법은 없다는 점이 그것이다. 게다가 로봇은 적 전투원을 죽일 뿐 아니라 민간인의 죽음(‘부수적 피해’) 및 아군의 죽음(‘오발 사고’)도 유발하게 될 것이다.


로봇이 도덕적일 수 있을까?
많은 사람들은 기계는 의식을 지닐 수 없으며, 인간의 가장 중요한 관계를 규정하고 인간의 윤리적 규범을 형성해주는 진정한 이해와 감정을 가질 수 없다고 믿는다. 이런 능력은 과연 무엇일까?(존재론적 질문) 그런 능력에 관해 과학적으로 무엇을 알아낼 수 있을까?(인식론적 질문) 인공적 도덕은 이런 질문에 대한 답에 의존할까?(실제적인 질문) (로)봇의 행동을 설명하기 위해 ‘도덕적’ 또는 ‘윤리적’이란 용어를 사용하는 것은 단지 개념상의 혼동만 초래하지 않을까? (로)봇은 진정으로 도덕적 행위자일 수 있을까? 그리고 이를 어떻게 알 수 있을까?
진정한 도덕적 행위자가 되려면 무엇이 필요한까? 이 질문에는 다양한 답이 존재하는데 어떤 답은 의식적 추론에, 또 어떤 답은 자유의지나 도덕적 책임이라는 사안에 초점을 맞춘 것이다. 인간의 자유의지라는 개념은 종종 꽤나 불가사의한 것, 즉 자유롭게 행동한다는 느낌의 바탕을 이루는 것이라고 여겨진다. 자유의지에 마법적인 요소가 있으리라는 예감은 부정할 수 없다고 하더라도 그런 점을 AMA 제작의 공학적 과제에 적용할 수는 없다.
도덕적 행위자로서 인간 경험의 핵심적 특징은, 사람이란 이기적 행동과 이타적 행동 사이에서 균형을 잡는 존재라는 점이다. 사람들은 두 가지 방향의 인력을 느끼는데 이 긴장이 자유의 가능성 ㅡ 나쁜 일과 옳은 일을 할 동등한 자유 ㅡ 을 마련한다. 그렇다면 어떻게 결정론적인 시스템에서 윤리가 생길 수 있을까? 저자들은 “만약 진정한 도덕적 행위자에 대한 당신의 개념에 자유의지라는 ‘마법적’ 개념이 포함돼 있다면 인간이 자유의지를 갖는지 확인할 방법은 없다.”고 말한다.
자유의지와 마찬가지로 인간의 이해와 의식은 많은 사람들에게 마법적인 매력으로 다가온다. 하지만 어떤 종류의 이해를 (로)봇은 실제로 가질 수 있는가? 아울러 그것이 AMA 제작에 적합한가? AMA에 의식이 필요한가? 저자들은 ‘이해’가 사회적・물리적 환경에 적절하게 그리고 적응적으로 반응하는 능력이라면, 적절하게 체화되고 구현된 컴퓨터가 이러한 반응을 할 수 없다고 여길 아무런 이유가 없다고 말한다. 기계의 의식은 AI 내의 하위 전문분야로서 발전하고 있는데, 기계의 의식을 연구하는 로봇 과학자들은 인간과 비견할 만한 의식을 지닌 시스템을 제작하는 일은 아직도 요원하다는 것을 잘 알고 있다. 그렇기는 하지만 연구자들은 기능적으로뿐 아니라 현상학적으로도 의식적인 로봇이 언젠가는 개발될 것이라고 확신한다.
어떤 철학자들은 현상학적 의식에는 기능적 의식을 훨씬 뛰어넘는 무언가가 필요하다고 주장하면서, 인간에 비견할 만한 의식을 드러내주는 과제를 수행하는 컴퓨터의 성공에 결코 만족하려 하지 않을 것이다. 하지만 저자들은 “관찰 가능한 행동 면에서 아무런 차이가 없는 이러한 의식 개념은 AMA의 개발과는 무관하다. 행동에 관한 기능적 의식이야말로 AMA를 실제로 설계하는 일에 중요한 것이다. 컴퓨터를 인간의 행동으로 수렴하게 만드는 방법에 관해 새로운 발상이 있는 한, 발전의 전망도 존재하는 법이다.”라며 낙관하고 있다.