우리는 일기를 쓴다고 인식하지 않은 채, 수많은 조각 일기를 매일 인터넷에 올리고 있습니다. 페이스북과 인스타그램, 트위터, 카카오톡, 유튜브 모두 일기장입니다. 심지어 이들 대부분은 세상 모두가 볼 수 있는 공개 일기장이죠. 사람들은 일기장은 자물쇠를 채워 책상 서랍 깊은 곳에 꼭꼭 숨겨 두지만, 정작 세상 누구나 볼 수 있는 인터넷 공간에는 스스로를 거리낌 없이 노출하고 있습니다.
--- 「2장. 소셜 미디어는 나의 공개 일기장」 중에서

국제 인권 단체 등의 조사에 따르면, 2017년 이후 100만 명 이상의 위구르인과 이슬람교도들이 감옥, 수용소 등에 갇힌 것으로 알려졌습니다. 인구밀도를 낮추고 종교와 문화 전통을 없애기 위한 작업도 진행했다고 합니다.
이런 활동에 AI 기반 감시 기술들이 쓰인다는 의혹이 거셉니다. 중국의 대형 IT 기업 화웨이가 민족이나 나이 등을 식별할 수 있는 얼굴 인식 AI를 개발했다는 주장도 나왔고, 중국 기업들이 사람들의 감정 상태를 파악할 수 있는 AI를 개발했으며 이를 경찰서에 설치해 위구르인들을 대상으로 실험했다는 증언이 나오기도 했습니다.
또 위구르인들은 스마트폰 연락처 목록과 문자 메시지 등 데이터를 수집하는 정부 앱을 휴대폰에 깔아야 하며, 지역 관청에 DNA 샘플을 제공해야 합니다. 이러한 각종 추적 수단을 통해 사람들이 현관이 아니라 뒷문으로 집을 나섰는지, 다른 사람의 차에 기름을 넣었는지와 같은 세세한 행동 데이터까지 수집이 가능하다고 합니다. 지극히 일상적인 행동까지 감 시를 받고, 범죄의 증거로 간주될 수도 있다는 이야기입니다.
--- 「4장. CCTV는 나를 주시하는 눈」 중에서

학교 모임이나 수련회 행사 등에서 친구들과 ‘10문 10답’ 같은 놀이를 해 본 친구들도 많이 있을 것이라 생각합니다. 페이스북과 인스타그램의 소셜 그래프는 각 사용자에 대해 ‘10문 10답’을 아주 많은 문항으로, 아주 자세히 한 것이라 할 수 있습니다. 우리가 페이스북이나 인스타그램을 열심히 할수록, 더 많은 사진과 게시물에 ‘좋아요’를 누르고 재미있는 영상을 더 많이 공유할수록 내가 답한 ‘질문’의 수는 기하급수적으로 늘어나는 것이죠. 심지어 내가 대답한 적 없다고 생각하는 것들까지 파악해서 나의 프로필을 더 충실하게 만들 수 있습니다. 그리고 그러한 프로필의 수, 즉 페이스북 사용자 수는 무려 30억에 가깝습니다.
메타의 인공지능 알고리즘은 이렇게 만든 각 사용자의 소셜 그래프를 바탕으로 각자의 입맛에 맞을 법한 콘텐츠를 찾아서 보여 줍니다. 우리가 페이스북이나 인스타그램 앱을 한번 열면 좀처럼 빠져나오지 못하는 것도 어찌 보면 당연하다 하겠습니다.
--- 「6장. 내 입맛에 딱 맞게 추천!」 중에서

재미있고 좋은 영상들이 많이 올라와 사람들이 유튜브를 많이 본다면 유튜브와 사용자, 그리고 영상을 만들어 올리는 크리에이터 모두 만족할 것입니다. 하지만 이런 균형 상태는 오래가기 어렵습니다. 유튜브를 운영할 때 회사의 이익과 사용자의 이익이 충돌하는 경우가 생기면, 회사는 사용자가 아니라 자신에게 이익이 되는 방향으로 결정을 할 가능성이 크죠.
정교한 알고리즘과 방대한 사용자 데이터를 가진 유튜브 같은 플랫폼이 운영 방식을 조금만 바꿔도 사용자는 알지 못하는 사이에 큰 영향을 받을 수 있습니다. 밤새 유튜브를 보게 되는 식으로요. 사람들은 그러한 자극적 콘텐츠에 끌리는 경향이 있고 알고리즘은 자주 보는 종류의 영상을 더 많이 추천하도록 짜여 있으니, 사용자는 자연스럽게 더 자극적인 영상을 더 많이 접하게 되는 것입니다. 사실 유튜브 스스로도 자극적이고 품질 낮은 영상들이 넘쳐 나는 것을 원하지는 않을 것입니다. 이렇게 되면 장기적으로는 결국 사용자가 떨어져 나가게 됩니다. 하지만 회사로서는 당장의 성장이나 수익을 생각하지 않을 수 없습니다.
--- 「9장. 유튜브 보다 보니 어느새 새벽」 중에서

애초에 악인과 접촉할 기회 자체를 만들지 않는 것이 가장 좋은 방법입니다. 하지만 세상을 살다 보면 좋지 않은 의도를 가진 사람을 만나는 일을 완전히 피할 수는 없습니다. 경찰 통계에 따르면, 디지털 성범죄의 피해자는 대부분 인터넷을 통해 가해자와 알게 됩니다. 디지털 기술을 이용해 음란물을 주고받거나 성착취물을 만드는 범죄의 피해자 10명 중 8~9명은 인터넷 채팅에서 만난 사람에게 그런 일을 당했습니다. 이는 대부분 주변의 아는 사람에 의해 자행되는 오프라인 성범죄와 다른 점입니다. 여성가족부의 발표에 따르면 2021년 아동·청소년 대상 성범죄의 총 피해자 수는 전년에 비해 3.1퍼센트 증가했는데, 그중 특히 디지털 성범죄 피해자 수는 무려 101.2퍼센트 늘어서 두 배 이상이 되었습니다. 채팅 앱과 소셜 미디어가 범죄의 주요 경로가 된 거죠.
--- 「11장. DM의 치명적 유혹」 중에서

캐나다 위니펙대학과 미국 스탠퍼드대학 등 연구진이 지난 2009~2019년 미국 상하원 의원들의 트윗 130만 개를 인공지능으로 분석한 결과, 무례한 내용의 트윗이 이 기간 중 23퍼센트 증가한 것으로 드러났습니다. 무례한 트윗이 ‘좋아요’와 ‘리트윗’을 더 많이 받기 때문입니다. 공격적 성향을 보이면 지지자들에게 좋은 피드백을 받기 때문에 정치인들의 언사가 더 거칠어졌다는 것입니다.
미국 예일대학 심리학과 연구진 역시 그와 유사하게, ‘도덕적 분노’를 드러내는 트윗이 더 많은 반응을 끌어내고, 이런 보상을 맛본 사용자는 자극적 발언을 더 많이 하게 된다는 사실을 밝혔습니다. 특히 소셜 미디어에서 주로 정치적 중도파와 친구 관계를 맺고 있는 사람들이 ‘좋아요’ 같은 피드백에 가장 민감하게 반응해 발언 강도를 높여 나간 것으로 나타났습니다. 소셜 미디어가 보상을 통해 중도적 그룹을 극단적 성향으로 바꾼다는 것이죠. 영국 케임브리지대학 연구진도 상대편 정파에 대한 반감을 드러냄으로써 자신의 정체성을 확인하는 게시물이 가장 큰 반응을 끌어낸다는 사실을 밝혔습니다. 아마 모두들 인터넷에 올라오는 글과 사람들의 반응을 보며 이미 체감하고 있었던 내용일 것입니다.
--- 「14장. 세상을 어지럽히는 가짜 뉴스」 중에서

챗GPT와 같은 생성형 AI가 등장하며 이는 더더욱 중요한 이야기가 되었습니다. AI가 이제는 아예 일상의 언어로 질문과 대답을 주고받는 방식으로 작동하기 때문입니다. 이 같은 생성형 AI를 잘 활용하려면 무엇보다도 구체적이고 적절한 질문을 제시할 수 있어야 합니다.
어떤 명령을 어떻게 내리는지에 따라 결과물은 크게 달라집니다. 원하는 결과를 바로 얻지 못하더라도, 표현을 조금씩 바꿔 가며 계속 질문하면 훨씬 유용한 답을 제시하는 경우가 많습니다. 예를 들어, “페이스북을 잘 쓰는 방법은 무엇이 있을까?”라는 질문보다는 “네가 고향에서 멀리 떨어진 곳으로 이사 갔다고 생각하고, 예전 친구들과 계속 관계를 이어 가기 위해 페이스북을 활용하는 방법에 대해 알려 줘.”라는 질문이 보다 적절한 답을 끌어낼 것입니다.