온라인 플랫폼에서 어떤 표현이 허용되고 금지되는가?
그것을 결정하는 콘텐츠 관리 규정은 누가 만드는가?

저자는 오랜 기간 온라인과 가상세계에서 언론의 자유 논쟁의 최전선에 있었다. 그녀는 2011년 전자프론티어재단에서 일하기 시작했으며, 모로코에서 아랍의 봄까지 이어지는 캠페인에 참여했다. 우리의 삶을 중재하는 플랫폼이 우리가 보고 읽고 쓰는 것을 감시하고 관리 및 검열하는 방법에 대해 누구보다 많이 알고 있는 저자는 오프라인(현실세계)에서의 억압이 온라인(가상세계)에서도 똑같이 되풀이되고 있다고 말한다.

10여년 전 페이스북으로부터 시작해서 초창기 온라인 플랫폼들은 콘텐츠 관리 규정이 단지 소수의 관련 업무를 맡은 직원에 의해 주먹구구식으로 만들어졌고, 이후에 여러 가지 사건을 겪으며 외부의 전문가 의견을 청취하기도 하고 관련 정부와 협의하기도 하면서, 때로는 플랫폼 CEO의 임의적인 판단으로 변화를 취해왔다.

하지만 콘텐츠 관리에서 모호하고 어려운 문제는 끊임없이 발생했다. 과연 플랫폼에 올라오는 디지털 콘텐츠는 누가 관리하고, 공공 영역이 민영화된 플랫폼이 되면서 누가 감시자를 감시할 것인지, 자동화 알고리즘이 혐오 표현을 올바로 걸러낼 수 있는지, 선전과 항의의 차이를 구별할 수 있는지 등 인터넷의 회색지대라고 할 수 있는 문제다.

아랍의 봄 동안의 억압적인 시위부터 홀로코스트 부정이나 혐오 표현에 대한 허용에 이르기까지, 그리고 모유 수유 중인 엄마나 두 남자가 키스하는 사진을 내리는 것을 피드의 맥락과 상관없이 차단시키는 것이 그런 예들이다.

정부는 플랫폼들의 이러한 콘텐츠 관리에 개입을 특별히 하지 않았고, 이 공백은 실리콘밸리 플랫폼 기업의 최고위층을 이루고 있는 백인 미국인에 의해 채워졌고, 그들이 미국의 가치관과 자기 계층의 이익을 콘텐츠 관리 규정에 투영하고 있다고 저자는 말한다. 또한 디지털 식민주의와 같이 실리콘밸리가 마치 신흥 제국처럼 행동하고, 그들 앞에 있는 모든 것을 거세게 정복하며, 우리가 정보에 접근하고 의사소통하는 방식을 사유화했다고 설명한다. 결론적으로 저자는 기술 경영진이 아니라 사용자가 온라인에서 언론의 자유를 구성하는 요소를 결정해야 한다고 주장한다.

플랫폼의 콘텐츠 관리 체계가 표현의 자유를 왜곡하다

저자는 표현의 자유라는 가장 중요한 가치가 빅테크기업의 최고위 소수 인물들의 재정적 전망과 영향력 있는 로비에 의해 통제되고 억제된다는 사실에 주목한다. 이집트의 경찰 폭력 및 기타 학대에 대해 폭로한 와엘 아바스와 같이 영향력 있는 활동가의 트윗과 게시물은 관련 정부 또는 권력자의 압력에 의해 소셜미디어에서 삭제됐다. 이것은 인류의 기본권인 표현의 자유에 위배되는 것이라고 말하는 저자는 페이스북의 콘텐츠 관리 체계에 대해 비판한다.

페이스북에는 세 계층에 걸쳐 콘텐츠 관리 직원이 있다. 그중 3등급의 최하위 직원들은 끔찍한 이미지를 보고 하루 종일을 게시물을 삭제하거나 유지시켜두는 즉각적인 결정을 내리는 데 보내야 한다. 이 직원들은 빈약한 급여에 정신건강 지원이 절대적으로 부족한 것은 말할 것도 없고 낮은 수준의 교육도 받지 못한다.

이러한 현실을 개선하고 전 세계적으로 인권의 기본 정신을 보존하기 위해 GNI(Global Network Initiative)가 통합되었고, 야후!는 구글, 마이크로소프트와 함께 창립 멤버로 참여했으며 수많은 NGO, 학술기관 및 주주 그룹이 이 조직에 합류했다. 이후 페이스북, 구글, 마이크로소프트, 트위터는 테러리즘에 대응하기 위한 글로벌 인터넷 포럼(Global Internet Forum to Counter Terrorism, GIFCT)을 만들기 위해 함께 뭉쳤는데, GIFCT의 목적은 ‘회원들의 디지털 플랫폼에 대한 테러리스트의 남용을 막는 것’이었다. 그러나 ‘테러’ 등의 용어 정의가 미흡해서 GIFCT의 작업에 아쉬움이 있었다.

저자는 또한 미국 정부의 SESTA-FOSTA 법안 공포에 따른 성노동자들의 게시물 게시 중단과 같은 콘텐츠 관리에서의 위험성을 강조한다. 고객 선택 및 기타 안전 조치에 대한 정보를 얻기 위해 온라인 네트워크에 의존했던 많은 성노동자들이 위기에 처하기도 했다. 한편 기술 지원 콘텐츠 관리에서도 우려되는 점이 발생한다. 빅테크 기업은 인공 지능 및 기계 학습 도구를 사용하여 콘텐츠 관리를 시도하지만 때로는 엉뚱한 결과를 가져오기도 한다고 말한다. 예를 들어, 영어 마을 ‘Scunthorpe’의 주민들은 알파벳 ‘S’와 ‘h’ 사이에 있는 단어가 일반적인 욕설을 나타내기 때문에 계정이 삭제되거나 등록을 거부당한 일, 런던의 ‘Horniman Museum’은 필터가 ‘Horniman’을 ‘hornyman’과 유사하게 인식하기 때문에 자체 스팸 필터가 메일을 차단한 일 등이다. 콘텐츠 관리에 내재된 또 다른 문제는 지역 언어 또는 모국어에 대한 전문 지식이 부족하다는 것이라고 한다. 예를 들어, 우간다에서 사용자가 800만 명 이상인 가장 널리 사용되는 언어 루간다(Luganda)는 관련 게시물을 분석하는 데 능숙한 콘텐츠 관리 전문가를 거의 찾을 수 없다고 한다.

감시 자본주의와 플랫폼 검열에 대응해 우리가 가야 할 길

페이스북과 인스타그램 같은 빅테크 플랫폼의 가치 시스템은 사회 내부가 아닌 개인 외부에서 세계에 접근한다는 것이다. 저커버그와 같은 기술 창업자들은 민주주의를 모두에게 더 건강하게 만들기 위해 소프트웨어를 어떻게 사용해야 하는지 묻지 않고, 대신 그들은 어떻게 개인이 더 많은 목소리와 더 많은 연결을 가질 수 있도록 할 수 있는지를 연구했다. 그런 다음, 수십억 달러의 돈을 앞세운 벤처 캐피털리스트의 도움과 격려로 수백만 명의 사용자를 등록하고, 사용자들의 공공생활을 식민지화하고, 사용자들의 연결을 광고주에게 판매되는 제품으로 전환했다. 반면에, 동시에 많은 사람이 그것을 사용하고 있기 때문에 결과적으로는 플랫폼은 사회에 좋은 것이기도 하다.

저자는 이 책에서 트위터, 구글, 페이스북 같은 플랫폼 기업들이 초기에는 이미 사회에서 영향력 있는 사람들뿐만 아니라 모든 사람이 플랫폼을 사용하여 목소리를 내고 관심을 얻을 수 있도록 진지하게 노력했다는 점을 지적한다. 그리고 이후 플랫폼의 급속한 성장과 창립자의 오만함, 비용을 낮추려는 열망이 결합되어 실패를 미리 방지하기보다는 사고 후에 정리하면서 따라가기를 반복해왔다는 것을 보여준다.

그리고 대부분 플랫폼이 정치와 강력한 행위자의 요구에 부응함으로써 그러한 편견으로부터 자유로울 수 없다는 점을 전 세계의 사례를 통해 강조하고 있다. 즉 플랫폼 기업이 테러리즘 및 극단주의와 같은 문제를 처리하는 방식은 특히 미국 외교 정책의 필요성에 의해 좌우된다고 한다.

이러한 플랫폼의 검열 권력에 대해 우리는 어떤 방식으로, 어떤 행동으로 대응해야 하는지에 대해, 저자는 기업이 현재 콘텐츠를 관리하는 방법에 대한 더 큰 투명성을 요구해야 한다고 답한다. “기업은 데이터가 가동 중인 알고리즘에 어떻게 공급되는지에 대한 정보를 사용자에게 제공하고, 데이터가 사용되는 방식에 대해 의미 있는 동의를 얻으며, 사용자에게 피드에서 보는 것에 대해 더 많은 옵션을 제공해야 한다. 그들은 정책 결정에서 시민사회를 투명하게 즉시 참여시키기 위해 노력해야 하고 기존 정책과 인권 기준의 호환성을 평가하기 위해 전면적인 감사를 수행해야 한다”고 저자는 말한다.

그리고 잘못된 정보의 피해가 검열을 정당화하는지 또는 성적 자유와 아동 보호 사이의 올바른 균형과 같이 쉽게 해결되지 않는 어려운 질문을 던지며 논의의 앞길을 열어놓았다.