오늘날 우리는 온갖 알고리즘과 마주하고 있다. 이들 각각의 알고리즘은 우리가 답이 무엇인지를 알아내기도 전에 우리가 지금 생각하고 찾고 바라는 것을 앞서 추측해내려 한다. 이메일을 쓸 때면 지메일 앱이 내가 쓰려고 하는 단어와 구절을 앞질러 가늠하고서는 마치 내 마음을 읽고 있다는 듯이 그 단어나 구절을 자동으로 불러온다. 결국에는 습관에 따른 선택일 경우가 대부분이라고 해도, 스포티파이는 내가 듣고 싶어 하는 음악가나 음반을 예상한 후 그 음악가와 음반으로 내 화면을 가득 채워놓는다. 스마트폰의 잠금을 해제할 때면 예전에 찍은 사진 가운데 내가 보고 싶어 할 만한 사진을 미리 화면에 띄워준다. 마치 내 잠재의식에 그런 꼬리표가 있기라도 한 것처럼 ‘추억’이라는 꼬리표를 달아서 말이다.
--- p.13
아마존 서점이 낯설게 느껴진 이유 중 하나는, 이 서점이 알고리즘의 논리가 실생활 속으로 노골적으로 침입하는 현상을 대표하기 때문이다. 우리에게는 늘 음악이나 이미지나 온라인 텔레비전 프로그램 추천이 폭탄처럼 쏟아진다. 디지털 화면 위에서 추천받는 경험을 몇 번 하고 나면, 알고리즘의 추천과 자동적인 중개를 거리낌 없이 받아들이게 된다. 하지만 기계가 우리의 선택을 대체하거나 지시하는 일이 드문 현실 세계에서 그러한 추천을 마주하게 되면 상황은 달라진다. 뭔가 낯설고 거슬리는 느낌을 받는 것이다. 아마도 내가 아마존 서점에서 느낀 낯섦은 그곳이 내 눈앞에 내게 자유가 없음을 들이밀고 있기 때문이며, 이는 알고리즘이 얼마나 우리에게 스스로 생각하지 말라고 다그치고 있는지를 보여주는 것이다.
--- p.82
2021년 말에 피터는 일시적 유행 중 하나에 빠져들었다. 보송보송한 천 재질로 무릎까지 당겨 신는 발 토시 열풍이 갑자기 피터의 인스타그램 탐색 페이지와 틱톡의 ‘포 유’ 추천 피드와 핀터레스트의 추천에 이르기까지 그녀의 피드를 일제히 점령한 것이었다. 유료 광고가 아니었는데도 어디에서든 발 토시를 볼 수 있었다. 피터는 내게 이렇게 말했다. “온라인에서 이런 열풍에 노출되기 전에는 발 토시라니, 생각해본 적도 없었어요. 추하고 흉물스럽고 우스꽝스럽다고 생각했거든요.” 하지만 정신을 차리고 보니 어느새 토시 한 켤레를 온라인으로 주문하고 있었다. 무의식적 충동으로 마치 “마법처럼” 그러고 있었다고 피터는 말했다. 하지만 발 토시를 한 켤레 샀다고 피터의 기본적인 취향이나 생각이 바뀔 리는 없다. 피터는 발 토시를 몇 번 신고서는 옷장 한구석에 던져두었다. 발 토시를 구매한 것은 “지금도 내가 했으리라고는 믿을 수 없는 선택”이었다고 피터는 말했다.
--- p.101
넷플릭스는 작품의 섬네일 게시 방식을 공격적인 방식으로 변경함으로써 사용자를 조종하고 있다. 사용자가 좋아할 만한 작품을 추천하는 것이 아니라 같은 콘텐츠라도 제시하는 방식을 차별화하여 그 콘텐츠가 사용자의 취향과 더욱 비슷하다고 여겨지게 만드는 것이다. 이렇게 알고리즘에 기반한 ‘도판 개인 맞춤화’는 만약 그런 이미지가 아니었다면 (그리고 제대로 된 이미지가 제공되었더라면) 거들떠보지도 않았을 작품을 보게 만든다. 혹시나 결국에는 알고리즘이 당신을 위해 작동하지 않을까 하는 일말의 기대를 품고서 말이다. 이는 개인 맞춤화를 제공하겠다는 인터페이스의 메시지뿐만 아니라 개인적 취향의 구축에도 상반되는 것이다. 애당초 인터페이스는 조종된 것이다.
--- p.119
스타벅스 체인점처럼 본사가 있는 카페들은 본사에서 정해둔 방침에 따라 인테리어를 하고 동일한 메뉴를 제공한다. 기업의 입장에서 통일성은 효율성과 친숙함 그리고 신뢰성을 보장하고, 이는 고객 충성도와 수익성으로 이어진다. 그러나 내가 옐프에서 검색한 카페들은 본사가 있는 것도 아니었는데 심미적 특징 면에서 모두 비슷했고 똑같은 메뉴를 내놓았다. 이런 카페들은 서로 지리적으로 멀리 떨어져 있고, 서로 어떠한 연관 관계도 없이 별개로 운영되지만 모두 같은 종착점을 향해 떠밀려가는 것 같았다. 급격히 확장되어가는 동질성을 목도하면서 나는 너무 충격적이고 새로워서 지루할 틈도 없었다. 밤새 비행기를 타고 다른 나라에 도착했을 때 찾아오는 약간 비현실적인 느낌이 이런 것이리라. 이 모든 것이 너무 쉬워 보였다.
--- p.153
틱톡 시대의 인기는 모 아니면 도가 되기 쉽고, 어떤 책이나 주제가 인기를 얻게 되면 그 트래픽에 편승하기를 바라는 모방꾼을 부추긴다. “동질성이라는 문제는 그저 따분하다는 데만 있지 않아요. 가장 불쾌하거나 가장 불쾌하지 않은 글이 가장 상단에 오르죠. 사람들이 그런 글을 클릭하니까요. 중요한 문제는 누구든 틱톡에서 성공할 수 있다는 거예요. 책을 전혀 읽지 않는 사람도 그게 유행하는 주제라면 책에 대한 영상을 찍으려 들죠. 처음에는 진정한 관심에서 시작되지만 천 번째 영상쯤 되면 원래의 뜻과는 전혀 무관해지는 거죠.” 알고리즘 기반 피드는 책이라는 피상적 상징을 문학으로서의 가치와 분리시킨다.
--- p.286
저커버그는 그 작은 회사가 페이스북에 위협이 되리라는 사실을 곧바로 깨달았다(인스타그램의 직원은 고작 13명에 불과했고, 수익도 내지 못하는 상태였다). 2012년 초, 저커버그는 당시 페이스북 최고재무책임자에게 인스타그램을 비롯해 패스나 포스퀘어 같은 신생 소셜 앱에 대해 이렇게 말했다. “그런 회사들이 성장해서 규모가 커지면 우리에게 아주 큰 골칫거리가 될 수도 있어요.” 저커버그의 해결책은 작은 회사의 창업자들이 거부하지 못할 정도의 큰 금액을 제시하여 그들의 회사를 사버리는 것이었다. 저커버그는 평균 5억 달러에서 10억 달러를 제시했다. “우리는 누군가가 그 정도 규모로 성장하기 전에 이 회사들이 가진 역동성을 통합할 1년 이상의 시간을 벌게 될 것입니다.” 페이스북은 이 회사들을 인수해서 페이스북 생태계에 병합하고 이들의 참신함을 모방함으로써 앞으로의 경쟁 역시 무력화하겠다는 것이다. 저커버그는 이렇게 말했다. “우리가 (모든 것을 포함한 플랫폼을) 대규모로 배포할 것이기 때문에, 새로운 제품은 그다지 큰 관심을 끌지 못할 것입니다."
--- p.306
2016년에 도널드 트럼프가 대통령에 당선되고 나서 대중은 우리가 알고리즘 기반 피드에 어떻게 조종되고 있는지를 조금이나마 알게 되었을 것이다. 예를 들어, 민주당 지지자라면 자신의 페이스북이나 트위터 피드를 아무리 들여다봐도 트럼프를 지지하는 이들을 찾기 힘들 것이었으므로, 결과를 받아들이기 쉽지 않았을 것이다(자신과 반대 성향의 정치적 게시글들은 알고리즘에 의해 제외되었을 가능성이 크다). 이것이 일라이 파리저가 말한 필터 버블이다. 온라인에서 이들은 트럼프가 대통령이 된다는 것은 말도 안 된다는 데 모두가 동의하고 있다는 착각 속에 살고 있었다. 트럼프 지지자들도 상황은 마찬가지였을 것이다. 이들 역시 자신의 관점을 강화하는 콘텐츠에 둘러싸여 다른 관점은 보지 못한다. 이는 또 다른 형태의 동질성이다. 알고리즘 추천 시스템은 사용자를 서로 겹칠 일 없는 두 개의 정치적 범주로 깔끔하게 구분했다.
--- p.314
2022년 11월에 페이스북은 GDPR 위반으로 2억 7,500만 달러의 벌금형을 받았다. 데이터 유출로 사용자 5억 명 이상의 개인 정보가 노출되었고 이렇게 유출된 정보가 해커 포럼에 퍼졌기 때문이다. 페이스북 측이 벌금형을 받은 것은 이 건이 처음이 아니었다. 9월에는 인스타그램이 서비스를 이용하는 미성년자의 데이터를 보호하지 못한다는 이유로 4억 달러의 벌금을 물어야 했고, 2021년에는 명확한 개인 정보 보호 방침이 없다는 이유로 왓츠앱에 2억 2,500만 유로의 벌금이 부과되었다. GDPR 위반으로 가장 큰 금액의 벌금을 낸 기업은 아마존으로 사용자 데이터를 추적하고 사용자에게 원치 않는 정보의 수신 거부를 인정하지 않았다는 혐의로 7억 4,600만 유로의 벌금이 부과되었다. 거대 기술 기업 외에도 GDPR 위반 사례는 다양하다.
--- p.338