나는 과학자도, 공학자도, 개발자도, 기술자도 아니다. 내가 기술을 그토록 오랫동안 이해하지 못했던 것은 기술적인 생각이 대부분 복잡한 수학을 토대로 하고 있기 때문이다. AI 기술이 세상에 미칠 영향을 이해하고 싶다고 해서 반드시 AI 기계의 내부 작동 원리를 정확하게 알 필요는 없다. 이 사실을 깨달은 순간, 나는 정말로 해방감을 느꼈다. 우리에게 필요한 것은 그저 새로운 세상에서 적응하고 번영할 방법을 익히는 일이며, 우리가 익힌 내용을 다른 사람들도 익힐 수 있도록 돕는 방법을 분명하게 이해하는 것뿐이다.
--- p.17

AI 시스템을 구축하는 데 우리도 참여할 수 있다. 제품 하나를 만들 때 얼마나 많은 단계가 필요한지 생각만 해봐도 우리는 그 방법을 알 수 있다. AI 기술을 구현하고 싶은 회사는 AI에게 목소리를 줄, 언어를 사랑하는 사람들이 필요할 것이다. AI에게 현대인의 사고방식과 역사를 알려줄 철학자와 역사가도 필요할 테고, AI가 목적에 맞게 잘 구현됐는지를 확인할 제품 관리자도 필요할 것이다. 인간처럼 생각하고 행동하는 기계를 만들려고 노력하는 동안 기술과는 상관없는 일을 하는 사람이 점점 더 많이 필요해질 것이다. AI에게는 전문적인 능력이 아니라 다재다능함이 있어야 한다. 이런 힘이 몇 사람의 손에만 쥐어져서는 안 된다. 현재 AI 분야의 일자리 거의 대부분을 차지하고 있는 남성의 손에만 머물게 해서는 안 되는 것이다.
--- p.32~33

나는 AI의 발전에 그레이스 호퍼가 엄청나게 중요한 역할을 했다고 생각하는데, 컴퓨터 언어로 변환해주는 번역기를 효과적으로 이용함으로써 프로그램 언어를 아는 소수의 남성만이 할 수 있던 프로그래밍에 사람들이 ‘훨씬’ 쉽게 접근할 수 있게 해주었기 때문이다. 호퍼는 남자 프로그래머들이 평범한 사람들과 컴퓨터를 연결해주는 문지기 역할을 하면서 스스로 ‘고위 사제’처럼 군다고 생각했다. 이는 호퍼가 프로그램에 획기적인 돌파구를 마련하는 일이 남자 동료들에게는 인기가 없었음을 말해준다. 훗날 호퍼는 그 상황을 다음과 같은 말로 정리했다. “어떤 사람이 한 가지 기술을 발견해 그 기술을 익히려고 열심히 애쓰고 있는데 누군가 다가와 ‘그럴 필요 없어. 여기, 더 좋은 게 있잖아’라고 말하면 상당히 화가 나는 게 당연하다.” 호퍼는 신념을 굽히지 않았다.
--- p.57~58

여기서 반드시 이해해야 할 점이 하나 있다. AI는 그 자체로는 편향이 없다는 것이다. AI는 자신이 익힌 데이터와 데이터가 가르쳐주는 세상을 반영한다. 의도치 않게 여성 혐오적이고 인종차별적인 소프트웨어로 ‘양육된’ AI의 좋은 예로는 마이크로소프트의 AI 챗봇 테이Tay가 있다. 테이는 자신의 트위터 계정에 올라온 사진에 대해 언급하거나 농담을 하는 등 다양한 과제를 수행할 목적으로 탄생한 AI 챗봇으로, 스스로 환경에 적응하도록 설계됐다. 온라인에서 사용자들과 소통하며 성격을 형성하도록 설계된 테이에게는 인종차별 코드는 심어져 있지 않았다. 온라인 사용자들에게서 인종차별적인 언어를 배운 뒤에야 테이는 자신의 언어에 인종차별적인 말들을 담기 시작했다.
--- p.108

중독을 부르는 AI 설계는 시간 낭비와 고립 말고도 또 다른 악영향을 미친다. 유튜브의 AI가 그저 사용자를 계속 온라인에 붙잡아두려는 무해한 의도로 설계되었지만 사용자가 세상을 보는 시각에 엄청난 영향을 미치는 것이 그 예다. 유튜브가 처음부터 추천 알고리즘을 플랫폼의 한 요소로 활용했던 것은 아니다. 하지만 이제 유튜브에는 사용자가 한 동영상을 보면 계속해서 유튜브를 시청할 수 있도록 비슷한 영상을 추천하는 여러 기능이 있다. 동영상 자동 재생 기능을 보자. 이 기능은 유튜브에서 사용자가 이미 시청한 동영상을 기반으로 개인 맞춤형 동영상을 연속으로 재생해준다. 사용자가 원하는 것을 더 많이 제공해준다니, 아주 멋진 기능처럼 느껴진다. 문제는 알고리즘이 클릭할 가능성이 가장 높은(알고리즘에 성공으로 입력되어 있는) 링크라고 파악하고 자동으로 재생하는 동영상에는 극단적인 발언이, 심지어 혐오 발언이 포함되어 있을 가능성이 높다는 것이다.
--- p.112~113

사진 한 장의 해로움을 판단하려면 해로운 콘텐츠가 어떤 형태라는 사실을 AI에게 알려주는 막대한 양의 사진이 필요하다. AI를 학습시키는 이 첫 번째 과정(해로운 사진을 입력하는 일)은 사람이 해야 한다. 다시 말하면 사이트 사용자에게 해로울 수도 있는 콘텐츠를 노출하지 않기 위해 어딘가에서 누군가는 끊임없이 보기 힘든 사진들을 보면서 작업해야 한다는 뜻이다. AI 시스템 뒤에서 사람이 하는 이런 작업을 보통 콘텐츠 관리라고 한다. 콘텐츠 관리를 하는 사람은 낮은 임금을 받으며, 스트레스를 많이 받아 외상 후 스트레스성 장애로 힘들어한다는 사실은 널리 알려져 있다.
--- p.120

AI 무기를 만들어야 하는 이유를 내세우는 주장들이 있기는 하지만(AI 무기가 있으면 사람들이 직접 전쟁터에 나가지 않아도 된다는 것도 그런 주장 가운데 하나다), AI를 다루는 거물들은 이 문제를 크게 우려해 자율 공격이 가능한 무기를 개발하거나 기획하지 않겠다는 성명이나 합의를 발표했다. 구글 직원들이 회사의 비윤리적 행위에 반대해 대규모 시위와 파업을 벌이자, 구글은 2018년에 자율 무기 개발을 금지했고 미국 국방부와 계약을 갱신하지 않았다. ‘기술은 AI 무기를 만들지 않는다(#TechWontBuildIt)’는 대규모 캠페인의 일환으로, 아마존과 구글의 직원들이 사용하는 해시태그다. 전쟁 프로젝트에는 참여하지 않겠다는 거부의 표현이다.
--- p.124

여성은 자신감이 부족하다는 것이 문제가 아니에요. 업계에 변화가 필요해요. 일터는 여성 리더들이 이 분야에서 새로운 일을 시작하기에 편안하다는 느낌을 받을 수 있는 공간이 되어야 해요. 내가 여기에서 보탬이 될 이러저러한 일을 하겠다고 말할 수 있을 만큼요. 그저 현 상황을 받아들이고, 그것을 돌파할 방법을 찾을 게 아니라요.
--- p.191

기술이란, 종이에 뭔가 자기 생각을 쓰려면 펜이 필요한 것처럼 그저 무언가를 가능하게 해주는 도구라는 사실을 알려주고 싶어요. 이미 좋아하는 것을 조금 더 즐길 수 있게 도와주는 도구가 기술이에요. 내가 해주고 싶은 조언은 함께할 사람을 찾으라는 거예요. 이 여정을 혼자서 해내려고 애쓰지 말고요. 온라인이나 오프라인에서 함께 배우고, 기술을 익히고, 지루하거나 겁나는 부분을 함께 공유할 수 있는 사람을 찾으세요. 기술은 그 기술을 사용하는 만큼만 좋을 수 있기 때문이에요. 살아가면서 겪는 일을 극복하는 데 기술이 어떻게 도움이 되는지를 가장 잘 파악할 수 있는 사람은 자기 자신이에요.
--- p.196

흥미로운 디지털 혁신이, 혹은 AI 개발이 모두 컴퓨터 화면 뒤에서만 일어나는 건 아니에요. 내가 생각하기에 가장 흥미로운 연구와 교육은 여러 과목 사이의 경계면에서 일어나요. 하지만 강의 계획서를 벗어나는 기술을 적절하게 알려줄 뛰어난 교사가 없다면 학제 간 수업이 제대로 진행될 리 없어요. 젊은 사람들을 얼마나 일찍 전문가로 만드느냐도 또 다른 문제예요. 아이들은 서너 가지 과목에 집중해 앞으로의 인생을 규정짓는 것이 아니라, 십 대 시절을 자신이 누구인지를 알아내는 시간으로 사용해야 해요.