우리가 행동하거나 말하거나 구매하는 모든 것은 누군가에 의해 기록된다. 이는 우리의 프라이버시가 점점 더 많은 부분에서 박탈되고 있다는 뜻이고, 그로부터 빠져나오기가 점점 더 어려워져 사실상 불가능해졌다는 뜻이다. 특히 코로나바이러스 대유행 기간을 거치면서 현금의 쓰임새는 눈에 띄게 줄었다. 거의 모든 거래는 온라인으로 이전되었고 물리적 형태의 현금 또한 디지털 결제 방식으로 전환되었다. 그로 인해 누군가에게 노출되지 않고 비밀리에 무엇인가를, 예를 들면 많은 나라에서 합법으로 용인되지만 부정적 인식이 강한 담배, 포르노물, 건강에 과히 좋지 않은 음식 등을 구매하기는 거의 불가능해졌다. 얼마 안 있어 우리는 우리의 흡연이나 식습관이 사회적으로 긍정적이거나 모범적인 것이 아니라는 지적과 더불어, 그런 습관을 줄이지 않으면 우리의 ‘사회적 신용(social credit)’ 점수가 깎일 것이라는 경고를 받게 될 수도 있다. 중국 사회에서 이미 벌어지고 있는 현실이다.
--- 「01_AI 감시 시스템의 빛과 그늘」 중에서

그러나 얼굴 인식 기술을 접목한 감시, 혹은 그런 기술을 갖춘 감시 카메라는 개인의 프라이버시와 인권을 침해할 위험성이 훨씬 더 높다. 공공장소에서 자신이 카메라에 찍힐 가능성이 있다고 인지한 경우라도, 대부분의 사람들은 그저 우연히 찍히는 데서 그치고 더 이상의 데이터 처리가 수행될 것으로는 예상하지 않는다. 공원이나 광장의 감시 카메라에 찍힌 자신의 얼굴이 데이터베이스에 추가되고 신원까지 식별될 것으로 예상하지도 않는다. 공공장소에서 일반인들이 갖게 마련인 소위 ‘프라이버시에 대한 타당한 기대’다. 지난해 유럽연합이 인공지능법(AI Act)을 통해 ‘공공장소에서의 실시간 원격 생체 인식 시스템’을 아예 개발하지 못하도록 금지한 것도 그러한 인권 침해의 우려 때문이다.
--- 「03_글로벌 AI 감시 동향」 중에서

지난 2∼3년간 폭발적으로 증가한 AI 투자와 개발 경쟁은 빅 테크를 비롯한 여러 AI 개발사들을 ‘데이터를 먹는 하마’로 만들었다. 데이터가 많으면 많을수록 그 성능도 대체로 더 향상하는 거대 언어 모델을 기반으로 한 생성형 AI(generative AI)의 경우는 그런 요구의 절박성이 더 높다. 특정 분야나 목적에 따라 해당 분야의 데이터만을 수집하고 분석하고 전망하는 소위 ‘예측형 AI’와 달리 생성형 AI는 그 목적이 따로 규정되지 않은 범용 AI(GPAI)다. 따라서 데이터의 종류나 성격, 내용을 가리지 않고 무차별적으로 수집한다. 데이터는 많으면 많을수록 좋다. 가능하다면 하늘 아래 존재하는 모든 데이터를 끌어모아 AI 학습에 활용한다는 게 개발사들의 공통된 원칙이다. 그런 맥락에서 지브리 열풍은 챗지피티 입장에서는 더 많은 사람들이 자발적으로 자신과 주변 사람들의 개인 정보를 기꺼이 제공하도록 유혹한 더없이 효과적인 ‘대박 마케팅’이었던 셈이다.
--- 「06_역감시」 중에서

G7 히로시마 AI 프로세스와 유럽 평의회의 AI 협약과 같은 국제적인 노력은 AI 시스템, 특히 감시 기술이 제기하는 안전 및 보안 위험에 대한 공통된 우려를 반영한다. 이러한 이니셔티브는 법적 구속력은 없지만 책임 있는 AI 개발 및 사용을 위한 국제 표준과 모범 사례를 형성하는 데 중요한 역할을 한다. 특히 유럽 평의회의 AI 협약은 AI 시스템을 사용할 때 인권, 법치주의 및 민주주의 기준의 준수를 보장하도록 명시한 조약으로 국제적으로 법적 구속력을 갖는다. AI 협약은 앞으로 AI 기술을 도입한 감시 활동에 대해 강력한 인권 기반 프레임워크를 제공할 것으로 기대된다.