사회기술적 시스템으로 이해하려는 관점의 문제

최근 AI와 사회를 둘러싼 학문적 담론은 AI 시스템을 순수한 기술적 시스템이 아니라 사회기술적(sociotechnical) 시스템으로 이해해야 한다는 관점을 제시한다. 그러나 이 책에서는 이런 식으로 사회와 기술을 뒤섞으면 오히려 해롭다는 견해를 펼친다. 기술이 늘 우위에 놓이는 위계를 강화하기 때문이다. 게다가 모든 AI 시스템을 사회기술적이라고 하면, 사회를 하나의 기계처럼 바라보는 관점이 굳어진다. 이럴 경우, 사회적 지식은 데이터로 환원될 때만 의미를 가지며, 인간 역시 기계가 이해할 수 있는 방식에 맞출 때만 사회에서 제대로 기능하게 된다. 또한 사회와 기술을 이처럼 결합하면, AI 시스템이 언제 그리고 어떤 경우에 유용한 도구가 되는지 검토하지 못하며, 대신 다양한 인식 체계를 특정 기준에 맞춰 단순화하기에 이른다. 더 나아가 이러한 도구들이 누구에 의해, 어떤 조건에서, 어떤 목적을 위해 쓰여야 하는지에도 주의를 기울이지 못하게 된다. 모든 AI를 사회기술적이라고 뭉뚱그리면, 기술과 사회 간의 구분이 해소되기는커녕 오히려 강화된다. 그 결과 담론 교착 상태에 빠질 위험이 있다. 한쪽에서는 어떤 AI의 미래가 바람직한지 논의하고, 다른 한쪽에서는 그러한 미래가 편향된 데이터와 폭력적 과거의 연장선에 놓여 있으므로 바람직하지 않다고 맞서는 형국이다. 이러한 혼란 속에서는 AI와 함께하는 미래에 대해 의미 있는 대화를 나눌 시간과 에너지가 거의 남지 않는다.

AI 시스템은 자연적 현상이 아니라 사회의 집합적 표현이다

AI의 예측이 어디에나 존재하다 보니, 우리는 그 시스템을 마치 피할 수 없는 유사 자연 현상이며, 우리가 그것의 일부가 아니라 그것에 종속되어 있다고 생각하기 쉽다. 그러나 이는 우리가 우리를 둘러싼 세상을 어떻게 이해하고 해석해야 하는지에 관한 사회적 합의에서 비롯된 정량적 개념이다. 1966년 과학철학자 루돌프 카르나프는 이렇게 말했다. “정량적 개념은 자연에 의해 주어지는 게 아니라, 우리가 자연 현상에 수치를 적용하는 행위를 통해 생겨난다.” 이 말의 핵심은 수치가 유용하다는 것, 그 이유는 정보를 다양한 맥락에서 좀더 쉽게 전달하도록 하는 일종의 언어 역할을 하기 때문이다. 정량적 언어는 정량적 법칙을 명확히 표현하도록 하며, 이는 결국 특히 물리학 분야에서, 수학적으로 계산된 예측을 일상적으로 손쉽게 만들어내도록 돕는다.

그러나 이제 예측은 더 이상 물리학이나 공학에서만 유용하게 쓰이는 도구가 아니다. AI가 지닌 신탁적 위력의 유망함 덕에 사회생활을 구성하는 논리로 떠올랐다. 이것은 위험한 명제다. AI를 항상 필요하거나 불가피한 존재라고 여기도록 내몰고, 애초 이 기술에 영향을 미친 사회적 힘에 주목하지 못하게 방해하기 때문이다. AI 시스템은 우리에게 일어나는 자연적 현상이 아니라 사회의 집합적 표현이다. 그러니만큼 단순한 과대광고라거나 글로벌 빅테크 엘리트들이 꾸며낸 속임수라고 치부해서는 곤란하다. 오히려 그것은 우리가 사회를 상상하고 실현하는 방식에서 한층 넓은 변화가 일어나고 있음을 시사한다. AI에 대한 비판적 논의 상당수는 이 현상을 주로 감시 강화와 자본주의적 착취로 규정한다. 그러나 AI의 가장 강력한 효과는, 예측을 사회 조직의 핵심 원리로 삼기 위한 미묘하지만 포괄적인 재조정이다. 이 책에서 저자는 이러한 현상을 ‘예측 패러다임(prediction paradigm)’이라고 일컫는다.

책의 구성

AI는 우리가 아무리 그것을 기술적인 것으로 만들려 해도, 언제나 사회적이다. 그러나 우리는 종종 그 사실을 보지 않으려 한다. 이 책은 바로 그 문제를 다룬다. AI의 사회적 지식 결핍을 해결하고, AI의 사회성을 진지하게 받아들이는 작업의 개념적 토대를 마련하기 위해 사회과학과 인문학의 아이디어 및 방법을 활용한다. 또한 예측 패러다임이 불가피한 기술의 부산물이 아니라, 의도적으로 구성된 사회적 장치임을 보여준다.

이를 위해 이 책은 예측과 AI의 기술적 구조가 지닌 사회적 기원을 파헤친다. 1장에서는 AI가 예측 패러다임을 사회 조직의 원리로 확립할 뿐만 아니라, 인과관계에 대한 우리의 사회적 신념을 한층 강화한다고 주장한다. 이는 AI가 개별 인간의 의사 결정이 필요한 상황을 최소화하면서 확장하는 노동 절약형 기술로 설계되기 때문이다.

2장에서는 AI가 ‘블랙박스’라는 신화를 벗긴다. 그리고 AI의 작동 원리는 인간이 이해할 수 없을 만큼 복잡하다는 통념은 과장되었다고 주장한다. AI가 예측 패러다임을 어떻게 우리 일상에 사회 인프라로 통합해 인간의 번영, 사회 제도, 그리고 우리가 서로 관계 맺는 방식을 형성하는지 살펴본다. 모든 인프라는 방향성을 띠는데, 이는 그 설계가 자원·아이디어·사람이 흐르는 방향을 결정하기 때문이다. AI 설계 역시 그와 유사한 방향성을 지닌다. 즉 AI는 선형적 시간 체제를 활용해, 대개 최적화를 목적으로 하는 예측을 위해 데이터 분류 과정을 손쉽게 수행하도록 설계된다. 때때로 AI는 사람들을 명시적으로 분류하며, 그 결과 누가 무엇을 어떻게, 누구와 함께 할 수 있는지 고착화한다. 이러한 현상은 AI가 사회적 분류에 의존하는 데서뿐만 아니라, 그것이 전제하는 가정에서도 여실히 드러난다. 이러한 가정이 AI 안에서 어떻게 굳어지는지 살펴보고, 이게 바로 사람들이 해당 가정에 접근하거나 그것을 변경하기 어렵게 만드는 사회 인프라로서 AI의 특징임을 밝힌다.

3장에서는 AI를 ‘사회 인프라’로 다시 읽는다. 수전 리 스타, 에릭 클라이넨버그의 논의로 대표되는 과학기술학의 인프라 개념에 기대, AI가 도로나 상하수도처럼 평소에는 ‘지루하게’ 배경으로 물러나 있다가 고장이 나고서야 비로소 모습을 드러내며, 우리의 사회적 관계를 표준화하고 통제하는 관료적 도구임을 보여준다. 즉 AI는 미래에 대한 예측적 추정을 우리의 일상적 상호 작용에 파고들도록 한다. 이는 우리가 서로 관계를 맺는 방식뿐만 아니라 제도와 상호 작용하는 데서도 나타난다. AI의 예측 기능은 우리에게는 너무나 일상적이고 인프라적 소프트웨어 기능을 뒷받침한다. 스팸 필터링, 자동 수정, 자동 완성 같은 기능에서부터 문법 검사기 등의 글쓰기 보조 도구, 예측 모델에 의존해 콘텐츠를 선별하고 행동을 감시하며 규범을 강화하는 소셜 미디어와 직장 내 기술 시스템이 그러한 예다. 이를테면 AI 시스템은 노동자를 감시하는 데 활용된다. 원격 직원 추적 시스템은 이메일·웹사이트·클라우드 등 다양한 경로를 통해 노동자의 활동을 모니터링하고 분석하며, 생산성 점수를 부여하거나 그 감시된 행동이 불법일 가능성, 또는 회사 정책상 금지된 행동에 해당할 가능성을 예측한다. 노동자들은 징계를 받을 때에야 비로소 그 같은 감시가 이루어지고 있다는 사실을 깨달을 수도 있다. 이러한 예측적 질서는 드러나지 않게 작동한다. AI는 우리가 사용하는 기존의 과정과 소프트웨어 애플리케이션에 자연스럽게 녹아들어 있다.

4장은 ‘AI 산업’을 해부한다. 저자는 오픈AI가 한 푼의 이익도 내지 못하면서 기업 가치를 그리스의 한 해 국내총생산에 맞먹는 수준으로 평가받는 풍경, ‘예측’이라는 비물질 상품을 둘러싼 거대한 금융적 기대와 투기를 냉정하게 파헤친다. 대다수 사람은 AI를 강력한 기술일 뿐만 아니라, 거대하고 전례 없는 시장의 힘으로 간주한다. AI는 종종 기업이 더 적은 인원으로 더 많은 일을 하게 하거나, 같은 인원이 더 적은 시간과 노력으로 더 많은 일을 하도록 하며, 그렇게 절약한 노동력을 다른 업무에 투입하게 하는 ‘확장 기술’로서 위치 지어진다. 그러나 이것이 사실이라는 증거는 아직 거의 없다.
AI를 일종의 자산으로 이해하는 방식으로 설명하기도 한다. 그러나 AI 산업은 매우 강한 수준의 금융 투기를 기반으로 하기에 라이선스 수수료를 걷는 것 같은 기존의 수익 창출 방식에만 주목해서는 자산으로서 AI의 가치를 제대로 파악하기 어렵다. 따라서 AI 산업을 한층 잘 이해하는 방법은 예측과 AI의 가치 평가에 깊이 배어 있는 상업 논리가 21세기 자본주의의 핵심 특징, 즉 금융화, 독점, 수요자 독점, 부의 집중, 그리고 공공의 이익보다 주주 가치 창출을 우선하는 경향 등과 어떻게 맞물리는지 따져보는 것이다.

5장은 화려한 약속 뒤에 가려진 실제 비용, 즉 시급 2달러로 유해 콘텐츠를 분류하는 케냐 노동자, 일반 검색보다 10배나 높은 에너지 소비, 데이터 센터에 반대해 들고일어선 미국 농촌 주민들, 그리고 스리마일섬 원자로를 되살리는 빅테크의 전력 계약 등을 끈질기게 추적한다.
이러한 비용은 AI가 환경에 끼치는 막대한 영향, 그리고 AI가 사회 인프라로서 제대로 작동하지 않을 때 개인과 공동체에 안기는 피해에서 비롯된다. 여기에는 잘못된 체포, 복지나 금융 부문의 불공정 대우, 허위 표절 의혹 따위가 해당한다. 이러한 AI의 실패가 그것으로 피해를 본 사람에게만 현실적 문제로 다가간다는 점을 설명한다. AI가 잘못된 결정을 내려도 피해자가 그것을 밝히고 바로잡기란 구조적으로 어렵다. 피해 원인이 AI라는 점을 꼭 집어내기 힘들고, 해로운 AI 결정에 이의를 제기할 수 있는 절차가 거의 마련되어 있지 않기 때문이다. 최근의 공적 담론은 이러한 AI 피해에 점점 더 주목하지만, 대체로 그 문제를 ‘편향’이나 ‘정확성’의 관점에서 따진다. 이 책에서는 AI의 사회적 영향을 오로지 이러한 틀에만 한정하면, 특히 생성형 AI를 평가할 때 그 한계가 드러나며, 결과적으로 AI를 바라보는 시야가 좁아진다고 주장한다.

6장은 “AI는 윤리적이어야 한다”는 손쉬운 구호에 맞선 치밀한 반론이다. 여기서는 벤담식 공리주의와 전차 문제를 수량화에 적합하다는 이유로 끌어안는 ‘가치 정렬(value alignment: AI의 목표와 행동이 인간의 가치, 의도, 윤리적 기준과 일치하도록 만드는 연구 분야)’ 프로젝트가 정작 윤리의 맥락성과 사회성을 놓친다고 주장한다. 도덕철학이 AI의 설계·정책·교육에 미치는 영향을 파헤치고, AI 설계 과정에서 윤리·가치·도덕 원칙을 형식화하는 작업의 어려움을 다룬다.
가치 정렬이라는 수학적 기법은 AI 윤리에 접근하는 한 가지 방법이다. 그러나 ‘우리는 어떻게 AI와 더불어 살아가야 하는가’라는 질문을 이런 기술적 문제로 환원하는 데는 한계가 있다고 주장한다. 이러한 접근은 규범적 틀과 형식화에 의존하기 때문이다. 즉 이는 무엇이 바람직하고 허용 가능한지 규정하는 아이디어와, 이를 기계가 명시하고 계산하고 최적화할 수 있는 절차로 코드화하는 기술을 결합한 방식이다. 이러한 접근을, 도시 설계에서 찾아볼 수 있는 좀더 참여적이고 ‘실천으로서 윤리’를 기반으로 한 인프라 구축 개념과 대비시킨다. 또한 AI 설계 및 교육과 관련해 기존에 확립된 연구 윤리의 타당성을 논의하고, 규제 기관이 AI 위험을 완화함과 동시에 국가 경제의 성장을 위해 AI의 잠재력을 활용하는 과제를 어떻게 다루는지도 살펴본다. 마지막으로, 사회과학적 관점에서 접근했을 때 응용 AI의 책임성이 어떤 모습을 띠는지 보여준다.

7장에서는 예측 패러다임이 ‘단 한 가지 미래’라는 결정론과 선형적 시간 체제를 정당화하면서, 공동체와 민주주의의 토대인 숙의를 잠식한다고 경고한다. 미래가 하나이고 그것을 알 수 있다고 전제하는 순간, 서로 다른 다양한 미래를 두고 토론하는 일은 한낱 비효율로 전락하기 때문이다. 도저한 흐름은 기술 과두 세력이 주도하는 변화가 아니라, 우리 모두가 함께 만들어가는 한층 광범위한 변화라고 말한다. 한편 AI를 공익사업이자 공익 기술로 재정립하려는 움직임에 주목한다. 프랑스의 AI 액션 서밋, 오직 공개 데이터로만 학습하고 소스 코드를 오픈한 스위스의 국가 언어 모델 아페르투스가 그 대표적 사례다. 책 말미에서 저자가 도나 해러웨이의 ‘사이보그’ 개념, 제임스 스콧의 ‘예상치 못한 상황을 전제로 한 계획’을 불러냄으로써 끝내 도달하는 결론은 명확하다. 우연한 발견과 불확실성과 사회성을 끌어안는 일, 그리하여 무엇을 진보로 간주할지 결정하는 힘을 다시 다수에게 돌려주는 일이야말로 우리에게 남은 과제라고 역설한다.

AI를 둘러싼 낙관론과 비관론이 현기증 날 정도로 빠르게 반복되면서 본질이 흐려지기도 했지만, 이제는 AI가 사회 질서와 권력 구조에 미치는 영향에 대한 전반적 성찰과 평가가 본격화하고 있다. AI를 어떻게 규율하고 어떤 안전장치를 마련해야 하는지에 관한 논의에서는, AI가 사회의 핵심 인프라로 기능한다는 점을 중요하게 고려한다. 사람들은 AI가 현실 세계의 결과에 입김을 불어넣는다는 점, 특정 목적과 프로젝트에 봉사한다는 점, 그리고 물질적·기술적 측면과 사회적·문화적 측면을 동시에 지닌다는 점을 고려해 다양한 안전장치를 제안한다. 그럼에도 여전히 AI의 온갖 문제를 포괄적으로 해결할 수 있는 하나의 일반 원칙을 모색 중이다. 그러나 많은 이들이 기대하는 그런 포괄적 접근법은 생각만큼 잘 작동하지 않는다. AI에 안전장치를 마련하려는 노력은, 단순한 수치나 지표로 윤리에 다가가는 접근만으로는 해결할 수 없으며, AI의 설계·사용·안전을 구체적 맥락에서 다루어야 하는 복잡성으로 인해 어려움을 겪는다.

이 책은 AI에 대한 기술 중심적 관점을 비판하지만, 기술 자체나 그 안에 담긴 다양한 가능성마저 부정하지는 않는다. AI에 대한 기술적 틀 짓기를 문제 삼는다고 해서 AI를 비난하거나 기술자들을 꾸짖으려는 의도는 아니며, AI가 하나의 사회적 구성물이라는 점을 강조하려는 것이다. AI와 함께하는 우리 미래 역시 마찬가지다. AI가 사회적이라는 입장은 존재론적 관점인데, 이는 우리가 AI를 끊임없이 함께 만들어간다는 사실을 말해준다.

또한 인식론적 주장도 곁들인다. 즉 AI가 사회적인 것이라면, AI 세계에서 사회과학적 전문성은 분명한 역할과 위상을 지닌다. 특히 생성형 AI를 통해 AI가 사회 조직의 가장 깊은 층위로 스며들수록 사회성은 더욱 중요해진다. 그리하여 AI의 사회적 영향만 단순하게 늘어놓는 평면적 담론은 서서히 사라지고, 대신 어떻게 사람들이 AI를 이해하고 해석하는지, 그리고 어떻게 그로 인해 급변하는 세계를 의미화하는지 이해해야 할 필요성이 절실하다. 정교하고 시급한 이 같은 탐구는 AI의 사회성이 문화, 정치, 과학, 가족생활, 종교, 교육 등 사회의 거대 구조 전반에 어떤 변화를 일으키는지 분석하는 작업과 함께 이루어져야 한다. 이는 사회과학자가 활용하는 도구들을 통해 가장 잘 뒷받침될 수 있다.

우리는 모두 사회과학적 접근을 통해 AI의 사회성을 일상적으로 드러내는 방법을 배울 수 있다. 만약 그렇게 하지 않는다면, AI의 사회성은 배경에 도사리고 있다가 바람직하지 않고 통제 불가능한 방식으로 느닷없이 모습을 드러낼 것이다. 예컨대 불평등을 심화하고, 집단들 간의 사회적 연결을 약화하며, 제도적 책임성을 훼손함으로써 미래란 우리가 함께 상상하고 만들어가는 게 아니라 이미 정해져 있고 진즉에 도래했다는 인상을 풍기는 것이다.