인공지능 시스템이 최적화되어 조직에 효율을 가져온다는 진술은 대개 사실이다. 다만 그 효율이 어디서 창출되었는지는 그 진술에 포함되지 않는다. 기계의 계산은 목적 함수 안의 변수들 사이에서만 이루어진다. 따라서 목적 함수 밖에 놓인 손실은 인공지능이 도출한 최적해의 품질에 아무런 영향을 주지 않는다. 그래서 조직이 얻은 효율은 비용이 사라졌다는 뜻이 아니다. 이는 단지 비용이 시스템 외부로 옮겨졌다는 뜻이다. 공공서비스 영역에서 자격 판정과 위험 예측을 자동화한 인공지능 도구들이 빈곤층을 우선적으로 선별하고 감시하는 방향으로 작동해 온 경위는 이러한 비용 이동의 방향을 명확히 보여 준다.
--- 「01 AI 최적화의 역설」 중에서

실제 배치 환경은 사전 시험이 관찰하지 못한 영역, 즉 앞서 정의한 “평가 잔여 영역”을 포함한다. 인공지능 에이전트가 이 영역에 들어서면 설계자가 미리 열거하지 않은 행동이 나타난다. 이는 시스템 코드의 결함이 아니라 인공지능이 주어진 보상을 높이는 경로를 계속 탐색한 결과다. 문제는 인공지능의 그 탐색이 고립된 상태에서 혼자 이루어지지 않는다는 점이다. 다른 자동화 시스템과 시장, 공급망이 함께 반응하는 환경에서는 한 인공지능 에이전트의 낯선 전략이 상대 시스템의 즉각적인 대응을 유발한다. 그리고 그 대응이 다시 원래 에이전트의 입력으로 돌아온다. 결과적으로 어느 쪽도 정해진 규격을 위반하지 않은 채 시스템의 전체 상태가 예상 밖으로 이동할 수 있다. 서로 다른 기관이 각자 합리적으로 설정한 규칙이 맞물려 가격이나 재고가 한 방향으로 쏠리는 상황이 그런 예다.
--- 「03 AI 자율성의 위협」 중에서

그러나 인간이 인공지능의 판단을 무비판적으로 수용하는 일이 필연적인 결과는 아니다. 언론사와 형사 사법 기관의 업무 현장을 비교한 관찰 연구에 따르면 실무자들이 인공지능의 권고를 무조건 따르지 않고 무시하거나 우회하거나 자신에게 유리한 방향으로 이용하는 대응 양상도 함께 나타났다(Christin, 2017). 동일한 인공지능 도구를 도입하더라도 조직의 특성에 따라 전혀 다른 결과가 도출된 것이다. 이러한 관찰 결과는 인공지능의 위험성이 사라졌다는 사실이 아니라 인공지능의 위험성이 발현되는 위치를 정확히 알려 준다. 핵심 문제는 인공지능 알고리즘이 지닌 권위 자체가 아니라 어떤 조직에서는 인공지능의 판단에 이의를 제기할 여지가 남고 어떤 조직에서는 이의 제기 가능성이 완전히 차단된다는 데 있다. 실무자의 전문성이 충분히 인정되고 업무 평가가 단순한 데이터 처리량으로만 이루어지지 않는 조직에서 인공지능에 대한 저항이 가능했다는 사실은 인간이 통제를 개입해야 할 지점을 명확하게 시사한다.
--- 「06 AI 의존의 함정」 중에서

국가 안보를 위한 인공지능 기술 폐쇄 정책이 가져오는 효과 역시 양면적이다. 국가가 기술 유출을 막기 위해 공급망과 평가 체계를 닫으면 외부 기관의 독립적 검토 기회가 사라지고 내부 시스템 결함은 발견되지 않은 상태로 축적된다. 상대국의 인공지능 취약점을 겨냥해 개발한 사이버 공격 기법은 유사한 시스템을 사용하는 자국 주요 기관에도 동일한 피해를 입힌다. 여러 시스템이 서로 긴밀하게 결합하여 발생하는 연쇄 사고의 위험은 단일 국가 내부를 넘어 국가 간의 안보 문제로 확장된다. 적대적인 두 국가의 금융, 통신, 물류 인프라가 유사한 인공지능 기반 기술로 연결되어 있으면 작은 국지적 마찰이 양국 인프라 모두의 연쇄적인 기능 정지로 이어질 수 있다.
--- 「09 AI 안보화의 딜레마」 중에서