|
AI 위험의 구조
01 AI 최적화의 역설 02 AI 데이터의 환상 03 AI 자율성의 위협 04 AI 창발성의 재앙 05 AI 취약성의 전이 06 AI 의존의 함정 07 AI 제도화의 실패 08 AI 시장의 폭주 09 AI 안보화의 딜레마 10 AI 통제권의 회복 |
유지연의 다른 상품
|
통제해야 할 것은 모델이 아니라 권한과 결합, 그리고 되돌릴 수 없는 변화다
AI의 오답과 편향은 그 자체로 사회적 재난이 되지 않는다. 문제는 불완전한 출력이 조직의 판단으로 받아들여지고, 실제 권한을 얻으며, 다른 시스템과 연결되고, 끝내 제도와 관행으로 굳어지는 과정에서 발생한다. 이 연쇄를 ‘위험 변환 사슬’로 설명한다. 복잡한 사회적 목적이 대리 지표로 축약되고, 낯선 환경에서도 모델이 확신에 찬 답을 내놓으며, 평가에서 포착하지 못한 불확실성이 남는다. 이 출력이 예산·인사·승인·금융·행정의 집행 권한과 결합하면 ‘확률적 권한화’가 일어나고, 여러 시스템이 동일한 모델과 데이터에 의존할수록 작은 오류는 동시다발적 실패로 증폭된다. 더 심각한 문제는 사고 이후다. 잘못된 데이터가 다시 학습되고, 인간의 판단 능력이 약화되며, 조직 절차가 AI를 전제로 재편되면 시스템을 고쳐도 피해 구조는 남는다. 이 책은 이를 ‘사회적 고착’이라 부른다. 따라서 AI 안전의 기준은 정확도만이 아니다. 어디까지 권한을 줄 것인지, 얼마나 느슨하게 연결할 것인지, 언제 멈추고 되돌릴 수 있는지가 중요하다. AI 위험 관리를 모델 성능에서 사회·기술적 구조와 가역성의 문제로 전환해야 하는 이유다. |