알고리즘 기반의 의사결정 시스템을 전부 다 시험대에 올릴 필요는 없기 때문이다. 내부의 역학을 감독하고 조절할 필요가 있는 시스템들은 다음과 같다.

- 인간에 대해 결정하는 시스템
- 인간에 관계된 자원에 대해 결정하는 시스템
- 인간의 사회참여 가능성을 변화시킬 결정을 내리는 시스템

전체 알고리즘 중에서 이런 시스템이 차지하는 비율은 적다. (…) 가령 결함이 있는 나사를 분간해 생산 벨트로부터 밀어내는 결정을 내리는 시스템은 이에 속하지 않는다. 경작지에 정확히 비료를 공급하는 시스템도 특별히 감시해야 할 시스템은 아니다. 반면 의심스러운 경우 사고로 이어질 수 있는 자율주행자동차는 이런 범주에 속한다. 단순히 이미지를 인식하거나 언어를 번역하는 시스템은 그에 속하지 않지만, 만약 이런 시스템이 자율주행자동차에 장착되어 사고 발생 요인이 될 수 있는 경우라면 문제가 또 다르다. 의료영역의 인공지능 시스템은 단연 조심스럽게 감시 감독해야 한다. 하지만 처방전 없이 살 수 있는 약품을 추천하는 시스템은 그에 해당하지 않는다.
--- 「1장 판단력이 떨어지는 로봇 재판관」 중에서

과학이론적으로는 다르게 볼 여지가 없다. 검증되지 않은 순수한 가설은 팩트로 여겨지지 않는다. 여러 번의 검증을 거쳐, 실험에서 반박할 수 없는 결과가 나온 가설들만이 비로소 이론이 되고, 이 이론의 예측이 통제된 반복실험에서 혹은 자연에서 여러 번 옳은 것으로 입증되어야만 팩트로 받아들여진다. 이것이 바로 학문적 방법이다. 하지만 머신러닝 알고리즘 사용자들은 이런 학문적 방법을 무시하고, 처리 결과를 곧장 미래의 행동을 예측하는 데 활용한다. 팩트를 얻는 대신 그런 식으로 찾은 상관관계에만 신뢰하는 것이 어느 때 충분하지 않은지를 이 책에서 차차 살펴보려고 한다.
--- 「2장 자연과학의 팩트 공장」 중에서

그렇다면 알고리즘이란 대체 무엇일까? 알고리즘이 그저 수학 문제를 풀기 위해 정해진 행동지침이라는 말을 들으면 많은 사람들은 약간 실망한다. 여기서 수학 문제는 문제풀이자가 어떤 정보를 받게 되는지, 그리고 문제풀이 결과가 해답으로 여겨지기 위해 어떤 특성을 가져야 하는지를 규정한다. 따라서 문제가 인풋(입력된 정보)와 아웃풋(원하는 해답) 사이의 관계를 정하는 것이다. 그리하여 정보학에서는 ‘주어진 것’이 무엇이고 ‘찾는 것’이 무엇인지에 대해 늘 이야기한다. 구체적으로 말하자면 내비게이션 기기가 ‘최단경로 문제’를 해결할 때는 거리지도와 출발지와 목적지가 주어진 상태에서 기기가 가장 빠른 길을 찾는 것이다.
--- 「3장 알고리즘, 컴퓨터를 위한 행동지침」 중에서

따라서 일방적인 피드백은 알고리즘 의사결정 시스템을 훈련하는 데 나쁜 전제이다. 처음에 트레이닝 데이터가 적을 경우에는 특히나 그렇다. 그러나 인간과 관련된 영역에서는―리스크나 성공 예측에 관한 한―일방적인 피드백만 존재하는 상황이 예외가 아니라 보통이다. 보통 알고리즘 의사결정 시스템의 사용자들은 높은 리스크를 가진 사람들을 피하고, 높은 성공잠재력을 가진 사람들을 찾기 때문이다. 그리하여 이른바 낮은 잠재력을 가진 지원자들은 그들이 일을 잘 감당할 수 있었다는 걸 증명할 길이 없다. 기계가 높은 리스크를 예측한 사람들은 그들이 대출금을 잘 상환할 수 있었음을 보여줄 길이 없다. ‘낮은’ 교육 잠재력을 가진 것으로 예측된 아이들은 일찌감치 대학 진학을 포기하게 마련이라, 그들이 대학 공부를 잘 해낼 수 있다는 걸 증명할 길이 없다. 따라서 이제 머신러닝은 무엇을 할 수 있을까?
--- 「5장 컴퓨터지능」 중에서

지원서류를 보고, 나중에 근무를 잘할 사람인지, 채용해도 좋은 사람인지를 알고자 하는 바람은 크다. 어떤 회사들은 회사에 적합한 사람인지 평가하기 위해 챗봇이나 비디오플랫폼을 활용한다. 물론 이런 세태에는 소프트웨어가 차별 없이 일할 거라고, 최소한 인간 결정자들보다는 차별에서 자유로울 거라고 하는 희망이 작용한다. 그리하여 아마존은 2014년 자동평가 시스템 구축을 시작했다. 인풋으로 이전 10년간의 지원서류가 활용되었다. 그런데 이 시기 성공적인 지원자들은 거의 남성이었다. 남성이 남녀 각각의 지원자 수와 관련하여 월등하게 높은 비율로 채용되었는지는 알려져 있지 않다. 알려져 있는 것은 현재 특히 애플, 페이스북, 구글, 마이크로소프트 등 IT 업계 근무자 중 여직원은 다섯 명 중 한 명꼴이라는 것이다.
--- 「8장 알고리즘과 차별, 그리고 이데올로기」 중에서

2016년에 챗봇 ‘태이Tay’가 트위터에 발을 들였다. 태이는 사람들이 하는 이야기를 듣고 배워서, 트위터에서 사람들과 상호작용을 하면서 자기 발언도 하기로 되어 있었다. 태이의 트위터 계정 프로필사진은 젊은 여성의 모습이었는데, 디지털 출신임을 보여주기 위해 약간 픽셀 처리되어 있었다. 봇은 디지털 서비스에서 자율적으로 행동할 수 있는 소프트웨어를 말한다. 트위터에서 ‘하트’도 누르고, ‘리트윗’도 할 수 있고 자신의 트윗도 날린다. 하지만 “여러분 안녕hellooooooo world!!!”이라고 반갑게 인사하며 트위터에 발을 디딘 태이는 잠시 후 2001년 9월 11의 테러는 조지 W. 부시 미국 전 대통령이 일으킨 것이라고 말했다. 그 외에 인종차별적·성차별적 발언을 서슴지 않으며, 성소수자를 혐오하고, 히틀러가 옳았다는 발언도 했다. 어떻게 이런 일이 일어날 수 있었을까? 그것은 봇이 다른 사용자들이 그에게 써 보낸 트윗을 보고 학습했기 때문이다. 일군의 선동꾼들이 짜고 태이에게 그런 차별적이고 극단적인 발언들을 주입했고, 태이는 그런 발언들을 그대로 쏟아냈던 것이다. 정보학에서는 이런 일을 ‘쓰레기가 들어가면 쓰레기가 나온다’고 말한다.
--- 「8장 알고리즘과 차별, 그리고 이데올로기」 중에서

결정의 영향을 받는 당사자들이 많고 독점적 지위를 가질 것이 예측된다면, 처음부터 손해잠재력을 분석할 필요가 있다. 따라서 이것은 알고리즘 기반의 의사결정 시스템을 국가적으로 사용하는 모든 경우에 해당된다. 모든 범죄 프로파일링 시스템과 약화된 형태로서 입사지원자 평가 시스템도 마찬가지다. 대규모 온라인 플랫폼의 알고리즘 기반 의사결정 시스템도 이에 해당한다. 영향을 미치는 범위가 넓고, 그 서비스가 종종 굉장히 독점적인 지위를 누리기 때문이다. 또한 인간의 기본권이 위험해질 수 있는 경우에는 영향을 받는 당사자 수가 적다 해도 손해잠재력 분석이 필요하다.

책은 세 부분으로 구성된다. 1부는 자연과학적인 인식 방법들을 제시하고, 인공지능 시스템을 만들기 위한 도구상자를 안내한다. 2부에서는 ‘정보학의 ABC’, 즉 알고리즘Algorithm, 빅데이터Big Data, 컴퓨터지능Computer intelligence 그리고 이것들이 서로 어떻게 연관되는지를 살핀다. 이어 3부에서는 어떤 부분에 인간이 개입해 윤리를 고려해야 할지, 그리고 이 과정을 어떻게 바람직하게 진행할 수 있을지를 다룬다. <br/><br/>뉴스 추천, 상품 추천 광고, 내비게이션, 검색어 자동완성, 번역기, 암 진단 시스템, 자율주행자동차…… 인공지능은 이제 우리 일상에 깊숙이 들어와 우리 인간들에 대해, 인간들과 더불어, 인간들을 위해 결정을 내리고 있다. 이쯤에서 책은 우리에게 질문을 던진다. 과연 기계가 인간에 대해 인간보다 더 나은 선택과 판단을 할 수 있을까? 또 우리는 그것을 원할까? 거대 소셜미디어 기업에 나를 ‘데이터 덩어리’로 바치고 싶지 않다면, 특정 이념단체나 권력기관에 선동되어 꼭두각시 인형처럼 움직이고 싶지 않다면, 그리고 기계에 나에 대한 판단을 온전히 맡기지 싶지 않다면 이 책의 일독을 권한다. 인간이 더 인간다워질 때, 인공지능과의 공존도 가능해질 수 있는 법이다.<br/><br/><b>우리 삶과 사회 깊숙이 침투한 알고리즘의 빛과 그림자<br/>데이터에서 결정을 도출하는 원리를 파헤치다</b><br/><br/>학부에서 자연과학을 전공한 저자는 생물학 실험실에서의 개인적 경험을 예로 들며 알고리즘의 맹점을 지적한다. 자연과학에서는 ‘가설’을 세운 후 여러 번의 검증을 거쳐 실험에서 반박할 수 없는 결과가 나와야만 ‘이론’이 정립되고, 이 이론의 예측이 통제된 반복실험이나 자연에서 옳은 것으로 입증되어야만 ‘팩트’로 받아들여진다. 하지만 머신러닝에서는 원인을 탐구해 인과관계를 밝히는 대신 중요한 사건과 상관관계가 있는 행동양식이나 특성 등을 확인하는 데 주력하며, 데이터에서 얻은 결과를 곧장 미래 행동을 예측하는 데 활용한다. 가령 자동차보험요율 평가 시스템은 운전자의 나이와 무사고 경력을 살펴 사고위험을 예측함으로써 등급을 산정하고, 미국의 재범 가능성 예측 알고리즘은 범죄자의 신상정보와 인격적 특성을 토대로 재범 위험을 수치화한다. <br/><br/>그 결과는 종종 오류로 이어질 수 있으므로, 예측이 훌륭한지 아닌지를 측정하기 위해서는 품질 평가를 위한 척도가 필요하다. 방대한 빅데이터에서 패턴을 찾아내는 머신러닝 알고리즘은 이 품질 척도를 도구로 스스로 최적화한다. 그런데 이 품질 척도의 선택에는 언제나 도덕적 숙고가 들어간다. 즉 어떤 오류를 더 중대하게 보는지가 관건이다. 이 책은 우선 알고리즘, 최적화와 운영화, 수학적 모델링 같은 생소한 개념들을 설명하면서 기계학습 과정의 많은 단계에서 인간이 개입해 결정해야 하는 조절변수가 있음을 상기시킨다. <br/><br/><b>목적지로 가는 최단 경로 찾기, 넷플릭스의 영화 추천, 입사지원자 심사, 이미지 인식… <br/>일상적인 예시들로 쉽게 설명하는 알고리즘<br/></b><br/>간단히 말하자면 알고리즘은 그저 수학 문제를 풀기 위해 정해진 ‘행동지침’이다. 그런데 실제로 많은 머신러닝 방법은 해답이 맞는지를 점검할 수 있는 고전적 알고리즘이 아니라, 시행착오를 통해 답을 찾아가는 ‘휴리스틱heuristic’으로서 답이 맞는지를 점검할 수 없다. 문제는 결과로 나온 해답이 맞는지 확인할 실측자료가 없고 어느 알고리즘의 결과가 어느 정도 이성적으로 보이는 한, 우리 인간들은 그 결과를 설명하는 이야기를 지어낼 수 있다는 것이다. 저자는 넷플릭스 영화 추천 시스템을 예로 들어 실제 사용자들이 매긴 별점 평가와 비교해 알고리즘이 엉뚱한 예측을 하더라도 우리가 그럴듯한 설명을 할 수 있음을 보여준다.<br/><br/>물론 영화 추천 시스템의 오류는 사용자에게 별다른 피해를 유발하지 않는다. 그러나 이런 시스템이 입사지원자 선발 과정의 서류심사에서 면접을 진행할 사람을 가려낼 때 쓰인다면? 만약 알고리즘이 IT 기업에서 성공한 직원들의 데이터 특성을 ‘남성’이라고 판단한다면, 그런 특성에 착안해 계속 여성 지원자들을 배제함으로써 차별을 공고히 할 수 있다. 더 큰 문제는 성공잠재력이 낮다고 평가되어 기회를 박탈당한 지원자들은 일을 잘 감당할 수 있었음을 증명할 길이 없고 따라서 품질 척도에 피드백을 제공할 수 없다는 것이다. 재범 예측 시스템이나 신용도 평가에서 위험도가 높다고 평가된 이들도 마찬가지다. <br/><br/>이처럼 피드백이 일방적이라는 문제 말고도 데이터 자체에 우연한 특성이 개입되어 노이즈가 생기는 경우도 있고, 데이터가 너무 적거나, 데이터 자체에 차별이 내재하는 경우도 있다. 데이터 수집과정 자체는 윤리적인가 하는 질문도 뒤따른다. 저자는 틴더와 페이스북이 이미지를 수집하는 방식, 정확도와 양성예측도에 숨겨진 함정, 위험값과 문턱값이라는 수치의 자의성, 사회?문화에 따라 상이한 윤리적 기준 등 우리가 알고리즘을 활용하기 전에 생각해볼 주제들에 대해 짚어나간다.<br/><br/><b>기술은 그 자체로 선하지도, 악하지도…… <br/>기술을 사용하는 인간이 곧 문제이자 해결방안 <br/>“윤리가 컴퓨터에 들어오는 것은 오직 당신과 나, 우리를 통해서만 가능하다”</b><br/><br/>알고리즘에 윤리적 고려가 필요한 경우는 무엇보다 인간들의 과거 행동에 대한 데이터를 토대로 학습하여 다른 인간의 미래 행동을 추론하고 사회적 자원에의 접근을 결정하는 시스템들이다. 물론 이러한 유형의 시스템이라도 위험도는 천차만별이다. 저자는 시스템을 효율적으로 감시하기 위한 등급을 고안한다. 그 기준은 시스템의 결정으로 인한 ‘손해잠재력’과 그 결정에 의문의 제기하고 변화시킬 수 있는 ‘항의 가능성’이다. <br/><br/>예를 들어 상품 추천 시스템의 개별적 오류는 무시할 수 있는 수준이다. 오류가 있는 입사지원자 평가 시스템을 쓰면 채용 기회를 잃는 개인뿐 아니라 그런 개인을 경제적으로 도와야 하는 국가와 부적합한 지원자를 채용하게 되는 회사도 손해를 입지만, 국가나 고용주 측의 손해는 개인들이 당하는 손해를 합친 것보다 크지 않다. 한편 콘텐츠를 제안하는 뉴스피드나 유튜브에서 음모론이나 가짜 뉴스를 배포한다면 사회 전체가 상당한 손해를 입을 수 있다. 하지만 적어도 다른 공급자와 경쟁하면서 시스템이 개선될 여지가 있다. 그에 비해 국가가 운영하는 감시소프트웨어는 무고한 개인에게 잘못된 낙인을 찍거나 반대로 범죄자들을 인식하지 못해 사회에 손해를 끼칠 수 있을 뿐 아니라, 중요한 민주주의적 기본권을 침해함으로써 사회 전반에 막대한 손해를 입힐 수 있고, 독점적으로 운영되므로 항의 가능성도 낮다. 이런 식으로 등급을 나누면, 완벽하지 못한 얼굴인식 기술에 의존하는 자율살상무기, 데이터가 너무 적은 테러리스트 확인 알고리즘, 국가가 국민을 광범위하게 감시 통제하는 중국 시민점수 등은 리스크가 가장 높은 시스템으로 분류된다. <br/><br/>일련의 논의를 통해 저자는 등급에 따라 투명성과 이해가능성을 높여 시스템을 감시하는 방안을 제안하며, 성공적으로 머신러닝을 할 수 있는 조건이 결여되어 있을 때, 또는 시스템을 투입함으로 인해 전 사회가 입을 수 있는 손해잠재력이 너무 클 때는 활용을 금지해야 한다고까지 단언한다. 끝으로 저자는 “자신이 영향을 미칠 수 있는 범주 내에서 무엇이 좋은 결정일지 고민해보아야 어느 정도로 기계의 뒷받침을 받을지도 결정할 수 있는 것이다. 윤리가 컴퓨터에 들어오는 것은 오직 당신과 나, 우리를 통해서만 가능하기 때문이다”라고 강조한다.

그 어떤 수식이 필요 없는 책이다. 카타리나 츠바이크의 강연을 들은 사람이면 충분히 공감할 터. 알고리즘이라는 기술적 토대를 매력적이고 이해하기 쉽게 설명하고 있다.

알고리즘을 이해하는 데 그리 대단한 지식이 필요한 것이 아님을 이 책만큼 잘 보여주는 책이 있을까. 누구나 이해할 수 있는 언어로 인공지능의 기초부터 응용까지 설명했다. 친절한 교사처럼 조곤조곤했다가 예리한 학자처럼 정곡을 찌르기도 하고 능숙한 연사처럼 흡인력 있게 이야기해준다.

카타리나 츠바이크에 따르면 우리 모두가 인공지능 배후의 메커니즘을 이해하는 것이 굉장히 중요하다. 그리하여 필요한 경우 모두가 참여하고 목소리를 낼 수 있어야 한다. 이를 위한 기본 작업을 이 책이 매우 탁월하게 해냈다.

많은 이들이 알고리즘은 기술의 영역일 뿐 우리와 무관하다고 여긴다. 하지만 알고리즘은 우리 삶의 거의 모든 영역에 깊숙이 관여되어 있는 매우 중요한 주제다. 카타리나 츠바이크는 이들을 위해 꼭 읽어 보면 좋은 책을 썼다. 그것도 아주 탁월하게!