소외 집단은 공적 혜택에 접근하거나, 치안 유지가 잘되는 지역을 통행하거나, 의료보험 제도 안으로 들어가거나, 국경을 넘을 때, 더 높은 수준의 데이터 수집 요구에 맞닥뜨린다. 수집된 데이터는 이들을 의심과 추가 조사의 표적으로 삼는 데 이용되면서, 소외 집단의 주변성을 강화하는 작용을 한다. 이들 집단은 부적격하다고 여겨져 처벌적 공공 정책과 집중 감시 대상으로 지목되고, 이런 순환이 다시 시작된다. 이는 일종의 집단적 적신호이자, 되먹임 되는 불평등의 순환 고리이다. 본문 23쪽(서론: 적신호)

앞선 빈곤 관리 기술의 혁신과 마찬가지로, 디지털에 의한 추적과 자동화된 의사 결정은 전문직 중산층 대중으로부터 빈곤을 은폐시키며, 국가가 비인간적 선택을 하는 데 필요한 윤리적 거리를 제공한다. 이를테면 누가 식료품을 얻고 누가 굶주릴지, 누가 거주할 곳을 얻고 누가 노숙인으로 남을지, 어느 가정이 주 당국에 의해 해체될지 따위의 선택에서 그렇다. 디지털 구빈원은 미국이 가진 오랜 전통의 일부다. 우리는 빈곤 퇴치의 공동 책임을 회피하기 위해 가난한 개인들을 관리한다. 본문 32쪽(서론: 적신호)

점점 엄격해지는 법적 보호와 공공 부조 지출을 억제하라는 요구 사이에서 진퇴양난에 빠진 선출직 공무원 및 정부 관료들은 정치적 술책을 부렸다. 이들은 더 효율적인 자원 분배를 통해 비용 절감을 약속하는, 광범위한 신기술을 주문했다. 실제로, 이런 기술 시스템은 빈민들과 이들의 법적 권리 사이에 서 있는 벽처럼 작용했다. 디지털 구빈원이 탄생하는 순간이었다. 본문 60~61쪽(1. 구빈원에서 데이터베이스로)

예전 시스템에서 신청서에 오류나 누락이 발생하면 골치 아프고 시간이 많이 걸려서, 개별사회복지사와 민원인이 협조해 출생증명서, 진단서, 소득증명서, 사회보장 카드, 임차 영수증 같은 서류를 확보해야 했다. “현대화 이전에는 전화를 걸어 ‘이런 공지문을 받았어요. 어떻게 해야 하는 거예요?’라고 물어볼 사람이 있었어요.” 미국자유인권협회(American Civil Liberties Union, ACLU) 변호사 개빈 로즈는 이렇게 기억했다. “그러면 거기서 이렇게 대답했죠. ‘나한테 전부 얘기해 주고, 지금 바로 팩스로 보내 줘요. 서류가 들어오는 걸 확인하고, 이 건을 처리할게요.’” 자동화 이전에 “협조 불이행”은 개별사회복지사가 적격성 판정 과정에 참여하기를 적극적으로 거부하는 소수 민원인에 대해, 최후의 시도로서 이용하는 하나의 처벌이었다. 자동화 이후, 이 말은 어떤 피해가 뒤따르건 상관없이 복지 등록부를 모두베기(clear-cut)하는 전기톱이 되었다. 본문 91쪽(2. 미국 심장부의 자동화된 적격성 판정 시스템)

1976년 “복지의 여왕” 린다 테일러의 호화로운 생활에 대한 로널드 레이건의 유세 연설은, 흑인과 여성을 복지의 얼굴로 만들었다. “시카고에 한 여성이 있습니다.” 레이건은 뉴햄프셔의 공화당 대통령 예비선거 기간에 이렇게 말했다. “그 여성은 이름이 80개, 주소는 30군데이고, 사회보장 카드를 12개 가지고 있으며, 있지도 않은 사망한 남편 넷의 퇴역 군인 수당을 타고 있습니다. 메디케이드, 푸드 스탬프 혜택을 받고 있으며, 각 이름으로 복지 수당을 타 가고 있습니다. 비과세 현금 수입만 15만 달러가 넘습니다.” 이 테일러 부인은 결국 80개가 아닌 4개의 가명을 사용하고 15만 달러가 아니라 8,000달러를 타 간다는 혐의로 기소되었다. 하지만 레이건의 잔뜩 부풀려진 주장은 충분한 근거를 찾았고, 미국인들은 여전히 주로 복지의 여왕이라는 이미지로 공공 부조를 이해하고 있다.
본문 127쪽(2. 미국 심장부의 자동화된 적격성 판정 시스템)

미국에는 사회복지사업과 경찰이 협력해 가난한 사람들을 범죄자 취급하는 오랜 역사가 있다. 가장 유사한 사례가 감찰관실과 지역 복지 사무소가 합작한 발톱 작전(Operation Talon)이었다. 데이터 발굴로 푸드 스탬프 정보를 추출해, 미집행 영장(지명 수배자에게 발부된 영장-옮긴이)이 발부된 사람들을 확인한 다음, 보조금을 약속해 유인해 내는 것이다. 그렇게 해서 표적이 된 수급자가 복지 사무소에 나타나면 체포했다. 본문 182쪽(3. ‘천사의 도시’의 노숙인 통합 등록 시스템)

만약 노숙이―질병이나 자연재해처럼―불가피하다면, 부상자 분류 시스템과 비슷한 해결책을 이용하는 것이 매우 타당하다. 한정된 주택 자원을 얻을 기회를 두고 노숙인들에게 우선순위를 부여하는 식으로 말이다. 하지만 만약 노숙이 정책 결정과 전문직 중산층의 무관심이 만들어 내는 인간 비극이라면 이야기가 달라진다. 이런 경우 통합 등록 시스템은 결단성 있게 행동하지 않으려는 우리의 선택이 인간에게 불러온 영향으로부터, 우리 자신이 거리를 둘 수 있게 해 준다. 또 통합 등록 시스템은 도덕적 평가 시스템으로서, 합리화를 위한 장치이기도 하다. 다시 말해, 가장 자격 있는 사람들만이 지원을 받고 있다고, 우리 스스로를 납득시키는 데 도움이 되는 장치다. “너무 위험하다”고 판단되는 사람들은 범죄자로 취급되도록 코드화된다. 실패한 사람들이 처하는 곳은 감옥이나 보호시설, 아니면 죽음이다.
본문 192~193쪽(3. ‘천사의 도시’의 노숙인 통합 등록 시스템)

나는 인간을 알 수 없는 블랙박스로, 기계를 투명한 것으로 보는 생각이 심각한 문제라고 본다. 이는 내가 보기에, 공감을 위한 어떤 시도도 포기하면서 윤리적 성장의 가능성을 배제하는 세계관이다. 인간의 의사 결정은 불투명하고 접근하기 어렵다는 생각은 우리가 서로를 이해하려고 노력해야 하는 사회적 책임을 포기했음을 시인하는 것이다. 앨러게니 카운티의 가난한 노동자 계층 사람들은 더 많은 것을 원하고 더 많은 것을 누릴 자격이 있다. 다시 말해, 인간으로서 똑같이 인정받고, 처한 상황에 대해 이해받으며, 연결되어 공동체를 이룰 자격이 있다. 본문 260쪽(4. 앨러게니의 알고리즘)

오늘날, 디지털 구빈원은 바버라 에런라이크가 말한, 전문직 중산층의 “추락에 대한 두려움”에 대응한다. 아래로는 노동자 계층의 붕괴, 위로는 터무니없는 부의 팽창, 여기에 점점 증가하는 미국의 인구통계학적 다양성이라는 국면을 맞아 자신들의 지위를 유지하기에 필사적인 백인 전문직 중산층들은, 에런라이크가 쓴 바에 따르면, 대체로 정의, 형평성, 공정성이라는 이상을 포기했다. 도널드 트럼프가 대통령으로 당선되기 전까지는, 이들 사이에 반(反)자유주의가 증가하기는 해도 대중 앞에서 다소 온건했다. 그것은 일종의 “개 호루라기(dog whistle)”식 학대였다. 예컨대 어린 흑인 학생들에게 소방용 호스를 쏘아 대는 행위는 용납되지 않았지만, 마이클 브라운, 프레디 그레이, 너태셔 매케너, 에젤 포드, 그리고 샌드라 블랜드를 죽음에 이르게 한 경찰은 비난받지 않았다. 가난한 사람들의 강제 불임시술은 재고의 가치도 없었지만, 가난한 가정을 처벌하고 굶기고 범죄자 취급하는 복지 개혁은 암묵적으로 승인되었다. 디지털 구빈원은 이런 정치적 시기에 생겨나 완전히 적응했다.
본문 283~284쪽(5. 디지털 구빈원)

이것이 오늘날 미국이 직면해 있는 문제입니다. 결국 위대한 국가는 연민 어린 국가입니다. 미국은 가난한 사람들에 대한 의무와 책임을 다하지 않고 있습니다.
언젠가 우리는 역사의 신 앞에 서서 우리가 한 일에 대해 이야기할 것입니다. 그렇습니다, 우리는 바다를 가로지르는 엄청난 다리를 만들었다고, 하늘에 가닿는 거대한 건물을 지었다고 말할 수 있을 것입니다. 그렇습니다, 우리는 잠수함이 대양 깊숙이 뚫고 들어가게 만들었습니다. 우리는 과학과 기술의 힘으로 다른 많은 것들이 생겨나게 했습니다.
나는 역사의 신이 이렇게 말하는 것이 들리는 듯합니다. “그것으로는 충분하지 않다! 난 배가 고픈데, 너희는 내게 먹을 걸 주지 않았다. 헐벗었는데, 옷을 입혀 주지 않았다. 제대로 된 깨끗한 집이 없는데, 집을 주지 않았다. 따라서 너희는 위대한 왕국에 들어올 수가 없다. 너희가 가장 적게 가진 사람들에게 그렇게 한다면, 나에게 그렇게 하는 것이다.” 이것은 오늘날 미국이 직면해 있는 문제입니다.
본문 331~332쪽(결론: 디지털 구빈원 해체하기)

<b>벽돌과 모르타르로 된 구빈원은 어떻게 디지털 구빈원으로 진화했을까? <br/>기술의 중립성이라는 가면을 벗기다!<br/></b><br/>디지털 시대가 시작된 이래 공공 분야에서의 의사 결정은 획기적인 변화를 겪고 있다. 업무 처리 과정을 고도화한다는 명목 아래 공공서비스에 자동화 기술을 적용하고 전산화된 알고리즘을 활용하는 등 광범위한 신기술 도입이 이뤄지고 있다. 이런 변화를 지지하는 이들은 흔히 새로운 세대의 디지털 도구를 ‘혁신적’이라고 극찬한다. 빅데이터, 알고리즘 등의 첨단 기술 도구가 형식적인 관료주의를 대대적으로 개혁하고 해결책을 촉진하며 투명성을 높여, 본질적으로 더 민주적인 정부를 만드는 데 기여한다는 것이다. <br/><br/>하지만 유뱅크스는 가난한 노동자 계층을 표적으로 삼고 있다는 점에 주목한다면, 새로운 데이터 분석 체제는 ‘혁명’이라기보다 ‘진화’에 가깝다고 통렬히 지적한다. 그에 따르면 미국의 가난한 노동자 계층은 오래전부터 사생활 침해적인 감시, 야밤의 불시 단속, 그리고 처벌적인 공공 정책의 대상이 되어 왔다. 19세기에는 지방자치단체가 설립한 구빈원에 격리되었고, 20세기에는 개별사회복지사의 조사를 받으며 마치 재판 받는 죄인처럼 다뤄졌다. 이 책은 현대의 빈곤 관리 시스템이 세련된 첨단 기술로 무장하고 있지만 실은 19세기부터 존재해 온 처벌적인 빈곤 관리 전략의 단순한 확대에 지나지 않는다고 이야기한다.<br/><br/>『자동화된 불평등』에서 가장 주목해야 할 개념은 ‘디지털 구빈원’이다. 이는 자동화된 의사 결정 시스템, 데이터마이닝, 위험 예측 모형 등 공적 서비스 분야에 침투한 첨단 기술에 대한 저자의 날카로운 문제의식이 담긴 용어이다. 저자 버지니아 유뱅크스는 “기술과 불평등을 이야기하면서 역사와 맥락을 삭제하는 움직임에 대한 저항”의 차원으로 ‘디지털 구빈원’이라는 용어를 사용한다고 힘주어 말하며, 빈곤을 관리하는 첨단 기술이 결코 중립적이지 않다고 일갈한다. <br/><br/>유뱅크스에 따르면 디지털 구빈원은 소외 집단이 공공 자원에 접근하는 것을 단념시키고, 이들의 노동, 지출, 성생활, 육아를 감시하며, 심지어 이런 요구에 순응하지 않는 사람들은 처벌하고 범죄자 취급한다. 19세기의 벽돌과 모르타르로 만들어진 구빈원이 그랬던 것처럼 말이다. 저자는 유색인, 이민자, 성적 소수자, 가난한 사람들이 공적 서비스를 받으려 할 때, 어떤 식으로 첨단 기술의 표적으로 지목되어 감시와 추적을 받는지 구체적인 사례와 함께 세밀하게 살펴 나간다. 그럼으로써 복지 혜택을 합리화하고 능률화하기 위한 방법이라고 여겨 왔던 디지털 기술의 실상은 결코 소외 집단에게 호의적이지 않다는 것을 사회 구조적인 측면에서 고발하고 있다. <br/><br/><b>가난한 이들은 디지털 덫에 어떻게 걸려드는가!<br/>소외 집단을 표적으로 삼는 은밀한 알고리즘의 실체<br/></b><br/>유뱅크스는 디지털 구빈원의 실체를 생생하게 그려 내기 위해 인디애나주와 로스앤젤레스, 피츠버그를 직접 찾아간다. 당사자들과의 인터뷰, 재판 참관, 공공 기록 조사 등의 방법으로 사회복지 서비스 현장에서 일어나고 있는 일을 분석해 내는 솜씨가 집요한 탐사 저널리즘을 방불케 한다.<br/><br/>인디애나주에서는 2006년 복지 수급자격 판정 현대화 실험이 진행됐다. 복지 서비스 신청을 온라인으로 받아 적격성 판정을 자동화한다는 계획이었는데, 3년 동안 의료보험, 푸드 스탬프, 현금 수당 신청에 대해 무려 100만 건이나 ‘거부 통지’를 내보내는 사태가 발생했다. 새로운 컴퓨터 시스템이 신청상의 오류를 신청자의 ‘협조 불이행’으로 해석했기 때문이다. 자동화 시기에 메디케이드 혜택을 상실한 소피(sophie)라는 소녀는 직접 휠체어를 타고 주지사를 찾아가 사회복지 정책실장과 면담을 한 끝에 겨우 보험 혜택을 회복할 수 있었다. 시스템상의 오류 때문에 생명 유지 장치나 다름없는 공공서비스 혜택을 상실한 소피 같은 사례는 인디애나주에서 차고 넘친다. 유뱅크스는 자동화 시스템이 불러온 무서운 충격을 견뎠지만, 끝내 목숨을 잃게 된 소피에게 이 책을 헌정한다. <br/><br/>2013년부터 시험 사용된 로스앤젤레스의 노숙인 통합 등록 시스템에서도 가난한 이들은 공공 정책의 수혜자라기보다 표적이 될 뿐이다. 이 시스템은 전산화된 알고리즘을 활용해 등록된 노숙인들을 적절한 주택 자원과 연결시켜 주는 서비스다. 그런데 로스앤젤레스시에서는 통합 데이터 시스템을 구축한다며 노숙인들의 내밀하고 개인적인 정보를 수집하면서도, 그 대가로 거의 아무것도 제공하지 않고 있는 것이 현실이다. <br/>한편 2016년 8월에 개시된 앨러게니가정선별도구(Allegheny Family Screening Tool, AFST)라는 통계 모형의 사례를 면밀히 들여다보면, 첨단 기술 도구가 가난한 이들의 미래에도 섣불리 손을 대고 있음을 알 수 있다. AFST는 한 가정을 아동 학대 조사 대상으로 선별할지 여부를 판단하는 ‘위험 예측 점수’를 계산해 내는 위험 예측 모형인데, 그 산출 기준이 매우 편파적이다. 이를테면 음식 부족, 부적절한 주거, 무면허 보육 시설, 건강관리 부족과 같은 빈곤의 지표를 아동 방치의 징후로 해석함으로써 가난한 이들에게 ‘문제 부모’라는 꼬리표를 붙이는 것이다. <br/><br/>유뱅크스는 이 세 가지 사례를 면밀히 분석하며, 윤리적·기술적으로 복잡한 문제를 갖는 자동화된 의사 결정이 점차 빠르게 증가하는 상황에 주목해야 한다고 강조한다. 가난한 이들이 첨단 기술 도구의 표적이 되어 정치적 권리를 잃고, 생존 자체가 불법화되는 상황은 결국 민주주의 자체를 위협할 것이기 때문이다. 이 책은 첨단 기술을 이용한 사회적 분류에 가장 열광한 곳이 심각한 불평등으로 분열되고 전체주의 정권이 통치하는 나라들이라는 사실을 기억해야 한다고 꼬집는다. <br/><br/><b>디지털 구빈원, 어떻게 해체할 것인가!<br/>변화는 우리 안에서 시작되어야 한다 <br/></b><br/>현재 ‘디지털 구빈원’은 소수 권력집단의 손에 행정 권한을 집중시키고 있다. 통합 데이터 시스템과 디지털 감시 인프라는 역사상 비할 데 없는 수준의 통제력을 제공하고 있다. 우리가 주목해야 할 것은 새로운 기술이 제도에 통합되면 추진력이 생긴다는 사실이다. 또한 그 기술은 원숙해질수록, 이의를 제기하거나 방향을 재설정하기가 점점 더 어려워진다. <br/><br/>게다가 ‘디지털 구빈원’은 가난에 대한 문화적 이해와 정치적 대응에 관련된 문제이기 때문에, 해결책을 논의하는 것이 어렵고 시간이 오래 걸리는 일이기도 하다. 그렇다고 가난을 대하는 새로운 방식이 등장하기를 기다리는 동안, 기술 발전이 속도를 늦출 것 같지는 않은 상황이다. 따라서 우리는 새로운 기술로 인한 피해를 최소화하기 위한 기술 설계 원칙을 지금 당장 논의하기 시작해야 한다. ‘디지털 구빈원’이 그 망을 점점 확장하기 전에 말이다. 이 책이 다루고 있는 문제가 그만큼 시급하다는 뜻이다. <br/><br/>그동안 소프트웨어, 알고리즘 등의 컴퓨터 기술은 오랫동안 탈문화 영역으로 여겨져 왔다. 그 운영의 세부 사항이 복잡하기 때문에 보통 사람들이 기술의 실체를 파악하기 어렵기도 했다. 잘못된 데이터, 소프트웨어 등의 잠재적 영향력이 광범위한 상황인데도 첨단 기술이 어떻게 작동하는지, 거기에 어떻게 대처해야 할지 제대로 된 논의조차 시작하지 못했다. 이런 점에서 『자동화된 불평등』은 데이터마이닝, 정책 알고리즘, 위험 예측 모형 등의 첨단 기술에 대한 신비화를 경계하고, 이를 사회적 논쟁의 장으로 끌어오는 데 도움을 줄 것이다.

(기술과 정책에 관한 이 책의 성취에) 눈을 뗄 수가 없다. 이 책의 주장을 가난한 사람들, 사회복지사, 정책 입안자뿐 아니라 ?전문직 계층에게 널리 알려야 한다. 기술이 정의를 대신할 수 없다는 점을 모두가 알아야 한다.

컴퓨터는 오랫동안 탈문화 영역으로 여겨져 왔다. 이런 인식은 바뀌어야 한다. 하지만 정책 입안자들과 유권자들이 진정 문제가 어느 정도인지를 알아야만 변화가 일어날 것이다. 디지털화를 찬양하는 시대, 권력 집단이 대개 이런 알고리즘이 낳는 결과로부터 보호받는 곳에서는 이런 변화가 일어나기 어렵다. 물론 무작위의 우연이 발생하는 경우는 예외이지만 말이다. 이런 면에서 유뱅크스의 이야기는 우리 모두에게 소름 끼치는 교훈을 가져다준다.

이 책을 주의 깊게 읽는다면, 두려워해야 할 것은 빅데이터와 인공지능과 같은 기술도 아니며, 사회정책 그 자체도 아니라는 것을 알게 될 것이다. 우리가 두려워해야 할 대상은 바로 우리 자신이며, 변화를 위한 결단을 내리는 것도 우리 자신이다.

『자동화된 불평등』의 주장은 사회복지 프로그램에서의 자동화된 의사 결정이 디지털 구빈원을 만들어 낸다는 것이다. 디지털 구빈원은 미국의 가난 문제에 항상 따라다니던 부정적인 유형의 도덕적 판단을 영구화한다. 유뱅크스는 데이터 과학자들이 모든 사람들을 존중하고 차별 양상을 악화시키지 않을 것을 맹세하는 히포크라테스 선서를 제안한다.

대단히 무서운 책이다. 하지만… 이 책을 읽는 독자는 더욱 현명해지고 더 많은 힘을 얻어 정의를 요구하게 될 것이다.

바버라 에런라이크의 『노동의 배신』 또는 매튜 데스먼드의 『쫓겨난 사람들』과 맞먹는 필독서. 철저히 연구되고, 아주 이해하기 쉬우며, 대단히 겸손하다. 사례 연구와 정연한 논리를 통해 기술의 비용과 결과를 다루는 중요한 책들이 많지만, 실로 알고리즘에 의한 의사 결정과 불평등의 세계로 독자들을 끌어들이는 건 이 책이 처음이다. 잘 쓰인 문화 기술지 같다.

기술에 관한 단 한 권의 중요한 책을 올해 읽게 될 것이다. 오늘날 모두가 인터넷이 민주주의에 미치는 영향에 대해 우려하지만, 유뱅크스는 우리가 맞닥뜨리고 있는 문제가 ‘가짜 뉴스’보다 훨씬 더 심각한 것임을 보여 준다. 자동화 시스템은 고의로 사회적·경제적 불평등을 견고히 하고, 사적·공적 복지를 약화시킨다. 유뱅크스는 역사에 뛰어들어 참호 속에서 리포트를 전하며, 우리가 맞닥뜨리는 정치적 디지털 세력을 더 잘 이해해 효과적으로 반격할 수 있도록 도와준다.