이번 강의에서는 인간과 로봇이 공생하기 위해 인간처럼 로봇도 ‘선악 판단’을 가르치려면 어떻게 해야 할지 생각해보겠다. 하지만 로봇의 신변에 일어날 수 있는 모든 일에 대해 하나하나 ‘이건 도덕적으로 옳다.’ ‘이건 도덕적으로 옳지 않다.’ 입력하는 것은 현실적이지 않다. 로봇이 그 어떤 상황에서도 선악 판단을 스스로 할 수 있는 구조를 만들 필요가 있다. 이 강의에서는 이를 ‘도덕엔진’이라고 부르겠다. --- p.31

로봇에 ‘사람을 죽여서는 안 된다.’ → ‘예스.’라고 입력할 생각이었으나 여기서 알게 된 것처럼 실제 인간 사회는 전쟁이나 사형제도에서 살인을 용인하고 있다. 그리고 그 이유가 ‘사회 중심 사고’와 ‘개인 중심 사고’로 나뉘는 것도 알았다. 이 모순을 제대로 밝히지 않고 로봇의 도덕엔진을 설계하기는 어려울 것이다.
여기서 하나의 가설을 세워보겠다. 인간은 살인을 가장 해서는 안 되는 일로 생각하면서도 용납하고 인정했다. 그 배경이 ‘사회 중심 사고’와 ‘개인 중심 사고’로 나뉜다는 점에 우리 인간 사회의 도덕을 모델화하는 힌트가 숨어 있을지도 모른다. 그뿐만 아니라 지금까지 우리가 해결할 수 없었던 도덕적 과제-다 양성을 지향하면서 자민족 중심주의로 향하는 모순-를 푸는 열쇠가 숨어 있을지도 모른다. 그래서 다음 강의에서는 지금까지 선인이 발전시켜 온 도덕사상을 ‘사회 중심 사고’와 ‘개인 중심 사고’로 나누어 정리해보겠다. --- p.39

‘사회 중심 사고’의 핵심은 ‘(특정) 사회의 신격화’다. 따라서 ‘사회 중심 사고’는 특정 종교나 전통과 습관에 근거해 선악을 구별하는 명확한 틀을 제공해준다. 그것은 안정되어 있어 흔들림이 없다. 만약 판단이 어려울 때는 성직자나 스승에게 가서 묻거나 경전이나 서적을 읽어보면 명쾌한 해답을 얻을 수 있으니까. 그러나 반면에 다른 ‘이상의 도덕’을 갖는 사회와 충돌하면 분쟁을 중재할 수가 없다. 이것을 ‘관용성의 결여’라고 할 수 있다. 사회를 중심으로 하는 사고는 권위주의, 집단주의, 절대론 등으로 요약할 수 있다. 그 특징은 ‘의연하지만 배타적’이다. 따라서 이 사고로는 점점 가속되는 사회의 다양성을 담보할 수가 없다.
한편 개인 중심 사고의 핵심은 ‘개인의 신격화’다. 개인 중심 사고는 이성을 가진 자유로운 개인이 전제가 되고 있어 개인과 사회를 분리해 생각하는 경향이 있다. 현대에서는 이런 ‘개인 중심 사고’가 압도적으로 인기를 얻고 있다. --- p.84

인간 도덕의 기본 원리를 밝혀야 로봇에 탑재하는 도덕엔진의 가장 중요한 요건을 명확히 할 수 있다. 그것은 도덕의 이중성 인식 기능이다. 로봇과 인간이 공생하려면 상대의 사고나 행동 양식을 관찰할 때 그 배경에 있는 도덕을 공통 규율과 개별 규율로 식별할 수 있는 능력이 요구된다.
즉 로봇은 인간을 대할 때 그 인간이 가진 도덕을 공통 규율과 개별 규율로 식별할 수 있어야 한다. 여기에 더해 ‘자기편에게 해를 입혀서는 안 된다.’라는 공통 규율만 지킨다면 개별 규율까지 같을 필요는 없다는 것을 인식할 수 있는 기능을 탑재하면 로봇과 인간이 공생할 수 있을 것이다. --- pp. 147~148

도덕을 금욕적인 명령이라고 생각하고 욕망의 대립인자로 보면, 저차원의 욕망은 부정의 대상이며 은둔자 또는 승려와 같은 생활을 하는 인간만이 최고의 도덕 수준에 도달할 수 있다. 그러나 도덕을 욕망으로 설명하면 저차원의 욕망을 부정하지 않아도 도덕으로 설명 가능하다는 것을 알 수 있다.
이처럼 욕망의 단계를 이용하여 도덕의 차원 구조를 정리하고 관찰하면 A: 도덕의 차원 높이≒자기편 범위의 넓이라는 식을 이끌어낼 수 있다. 또한 자기편의 범위는 공감의 일종인 친밀감의 범위에 의해 결정되므로 B: 자기편의 범위≒공감의 범위가 된다는 것을 알 수 있다. A와 B의 식을 합하면 도덕의 차원≒자기편의 범위≒공감의 범위가 되어 추상적인 도덕의 차원을 보다 구체적인 내용으로 파악할 수 있다. 이렇게 ‘도덕 감정의 원동력은 욕망이다.’라고 가정하면 공감의 범위를 기준으로 해서 도덕을 깔끔하게 분류할 수 있다. 이것은 가설이 타당하다는 증거이다. ‘도덕의 차원≒자기편의 범위≒공감의 범위’라는 식을 볼 때 도덕의 차원을 결정하는 것은 행위의 ‘내용’이 아니라 그 ‘적용 범위’라는 것도 알 수 있다. --- p.165

그럼 도덕적 차원이 4인 사람의 결과는 어떨까? 이러한 사람에게 이질적인 미지의 대상이지만 해를 입힐 염려가 없는 대상을 보여준 경우, 처음에는 마찬가지로 불안과 공포를 느낀다. 이것은 당연한 일이라 볼 수 있다. 이질적인 미지의 대상을 전혀 경계하지 않고 접근한다면 예상치 못한 위험에 처할 가능성이 있다. 이러한 용의주도함은 인간의 진화 과정에서 자연스럽게 익힌 능력이라고 생각한다. 그러나 도덕적 차원이 4인 사람의 마음속에는 공통 규율과 개별 규율이 구별되어 있다. 따라서 비록 이 질적인 미지의 상대라도 해를 입힐 우려가 없다는 것을 알고 나면 불안과 공포 등의 반감은 급속히 약화되고 반대로 이질적인 미지의 대상에 대한 호기심이 발동해 관심이나 기쁨 등의 공감이 생기게 된다. 앞에서 언급한 장비로 측정하면 불안과 공포 등의 반감이 흥미와 기쁨 등의 공감으로 변화하는 과정을 포착할 수 있다. 변화의 속도는 다양해서 그 자체가 마음의 넓이를 나타내는 중요한 매개 변수로 작용하기도 한다.