리스크를 감지하는 능력과 그것을 다루는 능력 사이의 간극. 이것은 특정 기업의 준비 부족이 아니라, 지금까지 리스크 관리가 발전해 온 방향 자체에서 비롯된 문제다. 리스크 관리의 역할은 오랫동안 예측과 가격 책정에 머물렀다. 위험을 수치로 표현하고, 그에 맞는 보험료를 산정하거나 대출 승인 여부를 결정하는 것. AI는 이 역할을 더 빠르고 정밀하게 수행할 수 있게 해 줬다. 그러나 판정을 받은 사람이 그 결과를 이해하고 스스로 바꿔나갈 수 있도록 돕는 것, 그 역할은 누구도 맡지 않았다. 이 공백을 채우는 것이 이 책에서 다루는 알고리즘적 구제(algorithmic recourse)의 출발점이다. 알고리즘적 구제란 AI의 판정 결과를 바꾸기 위해 당사자가 실제로 취할 수 있는 행동 경로를 제시하는 것을 의미한다. 단순히 “왜 이런 결과가 나왔는가”를 설명하는 것을 넘어, “어떻게 하면 결과를 바꿀 수 있는가”라는 실행 가능한 답변을 제공하는 것이다.
－01_“리스크 관리의 패러다임 전환” 중에서

비즈니스 관점에서 이 고리의 의미는 단순하다. AI가 아무리 정확해도 사용자가 신뢰하지 않으면 도입되지 않는다. 설명이 주어진 사용자들은 그렇지 않은 사용자들보다 두 경쟁 모델 중 실제 성능이 더 좋은 모델을 훨씬 높은 확률로 선택했으며, 머신러닝 비전문가들도 설명이 주어지면 모델의 신뢰성을 올바르게 평가할 수 있었다. 설명 가능한 AI는 그 신뢰를 만들어 내는 실질적 메커니즘이다. 해석 가능성은 단순히 “이해를 돕는 부가 기능”이 아니다. 공정성 검증, 안전 확보, 목표 불일치 포착, 다중 목표 간 균형 조율 등 기업이 AI를 책임 있게 운용하기 위해 반드시 필요한 기능들을 가능하게 하는 기반이다. 설명 가능한 AI는 리스크 관리 도구인 동시에, AI를 실제로 배포 가능한 수준으로 만드는 비즈니스 인프라다.
－03_“해석 가능한 인공지능의 비즈니스 가치” 중에서

분석에는 질병관리청이 실시하는 국민건강영양조사(KNHANES) 데이터를 활용했다. 신체 계측, 혈액 검사, 식이 섭취, 흡연·음주 등 생활 습관 정보가 포함된 이 데이터는 인구 집단 수준의 건강 리스크 분석에 적합하다. 예측 모형은 XGBoost를 사용했으며, 남성과 여성을 분리해 각각 구축했다. 단일 모형이 성별 차이를 충분히 반영하지 못할 수 있다는 판단에서였다. 이 선택은 결과로 입증되었다. 연령과 허리둘레는 남녀 공통의 핵심 위험 요인이었지만, 흡연은 남성에서 더 강한 연관성을 보였고, 체중은 여성에서만 독립적인 위험 요인으로 나타났다. 같은 당뇨 고위험 판정을 받은 남성과 여성에게 동일한 개선 권고를 제시하는 것이 왜 틀릴 수 있는지를, 데이터가 직접 보여 준 것이다. 알고리즘이 집단 내 이질성을 무시할 때 구제 경로도 빗나간다.
－06_“건강 리스크 관리 실증 사례” 중에서

알고리즘적 구제 시스템을 도입하는 것 자체가 새로운 리스크를 만들어 낼 수 있다. 첫째는 과신이다. 반사실적 설명이 제시하는 경로를 담당자나 고객이 지나치게 신뢰하는 경우다. 수학적으로 유효한 경로가 현실에서 반드시 작동한다는 보장은 없으며, 권고된 변수를 바꿨을 때 다른 변수들이 연쇄적으로 변해 결과가 의도와 달라질 수 있다. 시스템이 제공하는 정보의 한계를 고객에게 투명하게 전달하는 것 역시 거버넌스의 일부다.
－09_“알고리즘적 구제의 제도적 조건” 중에서