“수학은 우리의 개인적 진정성을 허물고, 싸구려 소문들에 합법성을 부여하고, 버밍엄 시민들을 테러 혐의로 기소하고, 무책임한 거대기업들의 내부에서 방대한 데이터를 수집하고, 우리의 행동을 감시할 초지능을 제작하고 있다. 이 사안들은 얼마나 심각하며, 이 시나리오들은 얼마나 현실적일까? 나는 내가 할 줄 아는 유일한 방법으로 대답을 알아내기로 했다. 그 방법은 데이터를 살펴보고 통계를 계산하고 수학을 하는 것이다.” --- p. 24

“당신이 페이스북, 인스타그램, 스냅챗, 트위터, 기타 소셜미디어 사이트를 일상적으로 이용한다면, 당신은 숫자에 압도되어 있는 것이다. 당신은 당신의 성격이 수백 차원의 공간 안에 한 점으로 놓이는 상황을 허용하고 있는 것이며, 당신의 감정이 수치화되고 당신의 미래 행동이 모형화되고 예측되는 상황을 허용하고 있는 것이다. 그 모든 일은 효율적으로 이루어질 뿐 아니라 자동으로, 우리 대다수가 거의 이해할 수 없는 방식으로 이루어진다.” --- p.61

“과학적 발견-특정한 페이스북 ‘좋아요’ 집합은 성격 검사 결과와 관련이 있다는 것-과 그 발견에 기초하여 신뢰할 만한 알고리즘을 구현하는 일-당신이 어떤 유형인지 옳게 예측하는 공식을 개발하는 것-을 구별하는 것이 중요하다. 과학적 발견은 참이고 흥미로울 수 있다. 그러나 발견된 상관성이 아주 강하지 않다면, 과학적 발견에 기초하여 개인의 행동을 신뢰할 만하게 예측하는 것은 불가능하다.”
--- p. 80

“페이스북과 스포티파이부터 여행사와 스포츠 컨설팅 회사까지, 온갖 업체가 우리를 분류하고 우리의 행동을 설명하는 알고리즘을 제공한다고 주장하는 오늘날, 나는 그 알고리즘들의 정확도에 대해서 더 많이 알아볼 필요가 있다. 과연 그 알고리즘들은 우리를 얼마나 잘 알까? 혹시 그것들은 더 위험한 다른 오류들을 범하고 있지 않을까?”
--- p., 86

“성격 파악 알고리즘을 분석하는 작업은 나의 관점을 예상치 못한 방향으로 바꿔놓았다. 그 알고리즘들이 우리를 위험할 만큼 정확하게 예측하는 상황에 대한 나의 염려는 줄어든 반면, 알고리즘들이 광고 되는 방식에 대한 염려는 증가했다.”
--- p.87

“오직 플로리다주 브로워드에서 흑인 피고인들의 재범률과 백인 피고인들의 재범률이 동일할 때만, 혹은 컴퓨터 프로그래밍을 전공하는 여성이 남성만큼 많을 때만, 우리는 편향성이 전혀 없는 알고리즘을 제작할 희망을 품을 수 있다. 우리가 사는 세계가 가능한 모든 면에서 평등하지 않다면, 우리는 알고리즘이 완벽하게 공정하기를 바랄 수 없다.”
--- p.100

“경험에 바탕을 두고 말하자면, 우리의 행동에 대한 알고리즘의 예측은 타인의 예측만큼 정확한 수준에 전혀 미치지 못한다. 알고리즘의 한계를 잘 아는 사람이 사용할 때, 알고리즘은 최고의 성능을 낸다.”
--- p.117

“내가 비교적 자세히 탐구한 모형들-축구에서 골이 나올 확률, 음악적 취향, 범죄 확률, 정치적 성격을 예측하는 모형들-에 대해서 말하자면, 나는 다음과 같은 동일한 연구 결과에 도달했다. 알고리즘의 정확도는 기껏해야 인간의 정확도와 대등하다.”
--- p.121

“우리의 행동을 분석하는 능력에 관한 한, 우리가 이제껏 살펴본 알고리즘들은 기껏해야 인간들과 대등하다. 줄리아 드레슬의 연구에 참여한 머캐니컬 터커의 일꾼들은 훨씬 적은 데이터만 사용하면서도 최신 알고리즘과 유사한 정확도로 재범 확률을 예측해냈다. ‘좋아요’에 기초한 성격 모형들은 여전히 개인들로서의 ‘우리를 아는’ 수준에 한참 못 미친다. 스포티파이는 친구들만큼 우수하게 우리에게 음악을 추천하는 방법을 찾아내려 애쓰고 있다.”
--- p. 135

“나의 모형에서 소비자들은 책이 얼마나 좋은가를 고려하지 않는다. 그들은 알고리즘이 제공하는 링크에 기초하여 책을 구매한다. 따라서 똑같이 훌륭한 두 저자의 판매 부수가 종국에는 극단적으로 엇갈려 한 명은 베스트셀러 저자가 되고 다른 한 명은 훨씬 더 적은 판매 부수를 기록할 수 있다. 모든 책들의 우수성이 정확히 같다고 하더라도, 일부 책들은 베스트셀러가 되고, 다른 책들은 실패작으로 주저앉는다.”
--- p.159

“기사들을 읽다 보면, 마치 우리가 알고리즘으로 하여금 우리가 무엇을 생각하고 무엇을 할지를 결정하게 하고 있는 듯했다. 우리에게 제공되는 뉴스들 중 일부는 정치적인 악당들이 왜곡하거나 지어냈을 위험이 정말로 있었다. 그러나 나는 그 기사들에서 수학이 사용되는 방식이 마음에 들지 않았다. 사람들의 미디어 소비에 관하여 암시하는 바도 못마땅했다. … 정말로 사람들은 페이스북에서 본 것의 영향을 그토록 강하게 받았을까? 나의 많은 동료들도 그렇다고 생각하는 듯했다. 그러나 나는 확신이 들지 않았다.”
--- p. 196~197

“필터링의 영향은 무시해도 될 수준이었다. 민주당 지지자와 공화당 지지자 모두 반대 견해에 약간 덜 노출될 뿐이었다. 우리는 가까운 친구들이 올린 게시물을 우리의 뉴스피드에서 볼 개연성이 높지만, 그들이 표출하는 정치적 견해는 우리의 친구들 전체가 표출하는 정치적 견해보다 더 극단적이지는 않다. 우리가 페이스북에서 보는 내용의 상당 부분은 우리 자신의 견해와 일치하지 않는다. 더 나아가, 흔히 폐쇄적인 집단으로 비난받는 미국 공화당 지지자들은 민주당 지지자들보다 약간 더 많이 반대 견해에 노출된다는 사실이 연구에서 드러났다.”
--- p.217

“페이스북과 그것이 우리의 삶에 미치는 영향을 두고 많은 사람들이 호들갑을 떤다. 그러나 내가 대규모 연구들을 꼼꼼히 재검토하고 관련 연구자들과 대화한 후에 느낀 바는 연구 결과들이 언론에서 거의 항상 왜곡되거나 과장된 형태로 보도된다는 것이었다. 그 호들갑은 나 자신의 과학 지식과 충돌했다. 물론 터무니없는 호들갑은 아니다. 페이스북은 선거 당일에 작은 버블을 만들어 투표 참가자의 수를 조금 더 늘릴 수 있다. 또 우리에게 우울한 게시물들을 보여줌으로써 우리의 감정적 버블을 약간 찌그러뜨릴 수도 있다. 페이스북이 우리에게 제공하는 뉴스들이 전 세계에서 표출되는 다양한 견해들을 온전히 대표하지 않는다는 지적도 당연히 옳다. 그러나 이것들은 삶을 변화시킬 만한 영향력이 아니다. 페이스북이 우리의 삶에 끼치는 영향은 실제 삶에서 우리의 일상적인 인간관계가 끼치는 영향과 비교하면 매우 약하다.”
--- p.221~222

“비록 약간의 진보적 편향이 있기는 하지만, 이 소셜미디어 사이트들은 다양한 정보가 확산되고 공유되는 데 기여한다. 전반적으로 우리는 수많은 견해들을 접한다. 그중 일부는 우리가 좋아하는 것이고, 다른 일부는 우리가 싫어하는 것이다. 하지만 그 모든 견해들이 우리가 사는 세계에 관한 정보를 제공한다. 우리의 폭넓은 사회적 연결들이 우리를 필터버블 안에 갇히지 않게 해준다.”
--- p.234~235

“가짜뉴스의 확산이 선거의 판도를 바꾼다거나 봇들의 증가가 사람들의 정치적 토론에 부정적 영향을 미친다는 구체적 증거는 없다. 우리는 ‘탈진실’ 세계에 살고 있지 않다. 우리의 취미와 관심사는 타인들의 정치적 견해가 우리의 버블 안으로 침투할 수 있게 해준다. 적어도 현재 상황에서 봇들의 대화 상대는 다른 봇들과 소수의 대안우파 미국인들뿐이다. … 또한 어차피 아무도 가짜뉴스를 제대로 기억하지 못한다. 공화당 지지자들이 페이스북에서 친구들의 공유와 페이스북 알고리즘의 선별을 통해 접하는 뉴스들은 완전히 무작위로 선택한 뉴스들보다 약간 더 보수적인 경향을 띨 따름이다.”
--- p. 254

“나는 단어 유추 알고리즘들이 여전히 우리의 통제 아래 놓여 있다는 사실을 알게 되었다. 그 알고리즘들이 우리의 데이터만 보고 자율적으로 학습했을지라도, 우리가 그것들의 내부에서 일어나는 일을 알아내고 그것들이 생산하는 결과를 바꿀 수 있다는 사실이 밝혀졌다. 나의 뇌 속 연결들과 달리-그 연결들에서는 단어에 대한 나의 암묵적 반응이 나의 유년기, 성장 환경, 직업 경험 등과 얽혀 있다-알고리즘의 성차별주의를 유발하는 연결들은 풀어헤치고 수정할 수 있다. 그러므로 알고리즘이 성차별주의적이라고 말하는 것은 부적절하다. 오히려 알고리즘들을 분석하는 작업은 우리 자신의 암묵적 성차별주의를 더 잘 이해하게 해준다. 그 작업은 우리 문화 안에서 정형화가 얼마나 뿌리 깊게 작동하는지 드러낸다.”
--- p.283

“범용 인공지능이 도래하는 중이라는 토론자들(일론 머스크, 레이 커즈와일, 데미스 허사비스, 닉 보스트롬)의 확신에도 불구하고, 그 토론을 지켜보는 동안에 나의 회의주의는 더 강해졌다. 지난 1년 동안 나는 그 친구들이 경영하는 회사의 알고리즘을 해부했다. 그런 내가 관찰한 바에 따라서 말하자면, 범용 인공지능이 대체 어디에서 도래하는 중이라고 그들이 생각하는 것인지 나는 도통 이해할 수 없다. 그들이 개발하고 있는 알고리즘에서 나는 인간과 유사한 지능이 도래하고 있음을 시사하는 단서를 거의 발견하지 못했다. 내가 볼 수 있었던 한도 안에서 말하자면, 기술산업계의 유명인인 그 토론자들은 토론의 주제를 진지하게 다루고 있지 않았다. 그들은 사변을 즐기고 있었는데, 사변은 과학이 아니다. 그 토론은 순전히 오락이었다.”
--- p.334~335

“현재 알고리즘들의 배후에 놓인 진실은 ‘인공지능’이라는 용어가 암시하는 것보다 더 평범할뿐더러 훨씬 더 단순하다. 우리를 분류하려 하는 알고리즘을 살펴본 나는 알고리즘이 우리가 우리 자신 에 대해서 이미 아는 것들의 통계학적 표현이라고 해도 과언이 아님을 발견했다. 우리에게 영향을 미치려 하는 알고리즘을 살펴보았을 때, 나는 알고리즘이 어떤 검색 정보와 광고를 우리에게 보여줄지 결정하기 위해 우리 행동의 매우 단순한 몇몇 측면을 이용해먹고 있음을 발견했다. … 알렉스와 내가 우리 나름의 언어 봇을 제작했을 때, 그 봇은 몇 문장을 그럴싸하게 말하여 우리를 놀라게 했지만 이내 자신이 완전히 사기꾼임을 드러냈다.”
--- p.350~351

“우리가 이 책에서 살펴본 알고리즘들을 이용하여 경이로운 상품과 서비스를 개발할 가능성은 열려 있다. 그 알고리즘들은 계속해서 우리의 가정과 일터, 여행 방식을 변화시킬 테지만 범용 인공지능으로부터 멀리 떨어져 있다. 기술은 우리의 토스터, 가정용 음향기기, 사무실, 자동차에 일종의 박테리아 지능을 제공하고 있다. 그 알고리즘들은 우리가 해야 하는 하찮은 일들을 줄여줄 잠재력을 지녔지만 인간과 유사한 행동은 하지 못할 것이다.” --- p. 353

“다시 현실 세계로 돌아오자. 인간은 앞으로도 오랫동안 유일한 인간형 지능의 소유자일 것이다. 진짜 관건은 이미 개발된 알고리즘들을 우리가 소수의 필요와 편익을 위해 사용할 것인가, 아니면 더 넓은 사회를 위해 사용할 것인가 하는 질문이다. 내가 이 두 가지 선택지 가운데 어느 것을 더 좋아하는지 나는 안다.”

<br/>빅테크에 관해 난무하는 억측과 오해<br/>허구 시나리오를 넘어 세계적인 수학자가 던지는<br/>빅데이터 시대의 가장 시급한 화두<br/><br/> 최고의 수학 논문 저자 ‘캐서린 리처즈상’ 수상<br/> 칼럼니스트 박상현 강력 추천!<br/> 『수학으로 생각하는 힘』 키트 예이츠 강력 추천!<br/>“구독, 좋아요, 알림설정을 눌러본<br/>모든 사람들이 읽어야 할 한 권의 책”<br/><br/>‘페이스북은 우리를 통제하고 있다’ ‘SNS는 우리를 특정 견해에 가두어 사회를 두 동강 내고 있다’ ‘트럼프의 당선은 가짜뉴스로 조작된 것이다’ ‘인간의 지능을 완벽히 모방한 인공지능이 등장하여 인간을 대체할 것이다’… 인간이 하나의 상품이 되어버린 빅데이터 알고리즘의 시대. 알고리즘으로 인해 도래할 인류의 캄캄한 미래에 대한 예언이 메아리처럼 울려 퍼지고 있다. 이 예언들은 과연 사실일까? 현재 여기저기에서 떠도는 알고리즘 디스토피아의 시나리오들은 얼마나 현실적일까?<br/><br/>여기, 알고리즘의 지배에 관한 우려의 타당성에 물음표를 던진 수학자가 있다. 세계적인 응용수학자 데이비드 섬프터는 자신이 가장 잘하는 것, 바로 수학을 사용하여 데이터를 살펴보고 통계를 계산하며 시나리오를 하나씩 검증해나간다. 데이터가 우리에게 불리하게 쓰이고 있는 현실을 외면하지 않는 동시에 알고리즘의 능력을 마냥 낙관하지도 않으면서, 섬프터는 알고리즘에 둘러싸여 살아가는 우리들이 반드시 지녀야 할 균형 잡힌 시각을 제공해준다. 우리를 분석하고, 우리에게 영향을 미치고, 언젠가 우리처럼 되리라는 믿음을 한몸에 받고 있는 알고리즘. 저자는 내밀히 작동하는 알고리즘의 수학적 원리를 낱낱이 해체하여, 무엇보다 우리가 알고리즘의 영향력을 합리적으로 평가하지 못할 때, 과학 허구 시나리오들에 휘둘릴 때 가장 큰 위험이 들이닥친다는 것을 깨닫게 해준다. <br/><br/>페이스북, 구글에서 가짜뉴스까지<br/>통념을 뒤흔드는 수학자의 날카로운 통찰력<br/><br/>“이 책을 읽기 전에 내가 가졌던<br/>많은 생각이 바뀌었다.” _박상현(디지털 칼럼니스트)<br/><br/>데이비드 섬프터는 페이스북과 구글부터 가짜뉴스와 인공지능까지 알고리즘의 세계 이곳저곳을 넘나들며 우리가 지닌 통념을 거침없이 뒤흔든다. 그중 하나는 페이스북이 우리를 완벽히 파악하며 그 정보를 이용해 우리를 조작하려 든다는 통설에 대한 과학적 반박이다. 일례로, 2012년 언론들은 페이스북이 우리의 감정을 조작할 수 있다는 연구 결과를 대서특필했다. 하지만 그 기사들이 기초한 연구 결과는 사용자가 부정적인 뉴스를 아무리 실컷 읽어도 부정적인 단어를 한 달에 한 개 더 사용하게 되는 경향이 있다는 것에 불과했다. 통계학적으로 유의미하긴 하지만 실제 삶에 미치는 효과가 아주 미미한 수준이라는 점을 도외시한 언론이 알고리즘의 위험을 과대평가했던 것이다.<br/><br/>이처럼 페이스북을 비롯한 SNS가 우리 삶에 미치는 영향을 두고 많은 사람들이 호들갑을 떨지만, 섬프터가 살펴본 바에 따르면 그 모든 우려는 대부분 언론의 무분별한 보도로 과장된 것이다. 물론 우리는 SNS를 통해 자신과 정치적 성향이 같은 사람들과 친구 관계를 맺음으로써 비슷한 견해의 게시물을 받아 보는 경향(필터버블)이 있긴 하지만, 실제 연구 결과는 사람들이 자신과 다른 견해에도 상당한 정도로 노출되고 있음을 보여준다. 오직 정치적 목적으로만 SNS를 사용하는 사람은 별로 없고 대부분 다양한 취미와 관심사를 공유하는데, 바로 이러한 성향이 타인들의 견해를 우리의 버블 안으로 침투할 수 있게 도와주는 것이다. 또한 가짜뉴스의 확산이 선거의 판도를 바꾼다거나 소셜미디어 봇들의 증가가 사람들의 정치적 토론에 부정적 영향을 미친다는 구체적 증거도 없다. <br/><br/>“현재 알고리즘의 배후에 놓인 진실은 <br/>‘인공지능’이라는 용어가 암시하는 것보다 <br/>더 평범할뿐더러 훨씬 더 단순하다.”<br/><br/>조만간 인간의 인지 능력을 복제한 범용 인공지능이 나타나 인간을 대체하리라는 일설 또한 실제 연구 현황을 고려하면 아무런 근거 없는 사변적 궤변이라는 점도 낱낱이 밝혀진다. 테슬라의 최고경영자 일론 머스크, 구글의 미래학자 레이 커즈와일, 딥마인드의 창립자 데미스 허사비스 등 빅테크의 개척자들이 경영하는 회사의 알고리즘을 철저히 해부해온 섬프터는 인간과 유사한 지능이 도래하고 있다는 단서를 전혀 발견하지 못했다고 말한다. 두뇌의 신경세포 구조를 모방한 알고리즘 ‘인공 신경망’은 바둑과 같은 몇몇 게임에서 인상적인 기술적 성취를 보여주었지만, 게임의 원리를 밑바닥부터 학습하는 능력은 여전히 인간이 훨씬 더 뛰어나다. 인간의 언어를 모방하는 언어 알고리즘은 몇 문장을 그럴싸하게 말하여 깜짝 놀랄 결과를 보여주었지만, 최고의 언어 알고리즘조차도 문장 속의 ‘it(그것)’이 무엇을 가리키는지도 제대로 파악하지 못한다.<br/><br/>현재 최고 수준의 인공지능을 ‘박테리아’에 빗대는 내용 또한 참신하고 통찰력이 돋보이는 대목이다. 인공지능이 인간 수준의 과제를 해내려면 아직 멀었다는 사실을 깨달은 섬프터는 인공지능이 혹시 다른 생물과는 경쟁할 수 있을까 하는 흥미로운 질문을 던진다. 개, 벌, 예쁜꼬마선충, 미생물 등 갖가지 생물과 인공지능의 인지 능력을 비교한 결과, 최고 성능이라 할지라도 인공지능은 대장균 같은 박테리아의 수준에 불과하다는 다소 충격적인 결론이 도출된다. 박테리아가 자원 획득과 번식 같은 목적을 위해 주변 상황에 알맞은 행동을 취하는 것처럼, 인공지능 또한 다양한 입력 신호들에 반응하여 상황에 적응해나갈 수 있는 능력이 있다. 하지만 인공지능의 능력은 딱 거기까지다. 인공지능은 개처럼 인간의 맥락을 이해해 반응하거나, 벌처럼 축구를 하거나(정말이다!), 예쁜꼬마선충처럼 사회적 상호작용을 하지 못한다. 인공지능의 발전 현황을 냉철하게 분석한 끝에 섬프터가 내린 결론은 이렇다. “현재 알고리즘의 배후에 놓인 진실은 ‘인공지능’이라는 용어가 암시하는 것보다 더 평범할뿐더러 훨씬 더 단순하다.”<br/><br/>“이제 나는 알고리즘이 과거에 내가 생각한 것처럼 <br/>무시무시하지 않다는 사실을 안다.”<br/><br/>세계적인 응용수학자의 폭로로부터 우리가 도달하는 곳은, 하루가 멀다고 울려 퍼지는 빅테크 찬양과 종종 나타나 우리를 공포로 질식시키는 비관적 음모론 사이의 중간 지대이다. 섬프터에 따르면, 바로 그 중간의 지평, 즉 복잡한 논의를 짜부라뜨리지 않고 세밀하게 합리적으로 살펴보는 것에서부터 빅테크에 관한 논의가 시작되어야 한다. 이제 우리 앞에는 몇 가지 선택지가 놓여 있다. 과대광고로 점철된 빅테크 유토피아를 마음껏 예찬하느냐, 언론이 지나치게 부풀린 알고리즘 디스토피아를 마냥 비관하느냐, 아니면 알고리즘의 낙관적 지배와 비관적 지배 그 사이를 냉정하고 차분히 바라보며 미래의 시나리오들을 더욱 잘 이해할 수 있는 시각을 갈고닦느냐. 그 선택은 오롯이 우리에게 달렸다. <br/>