결국, 무수한 디지털 발자국 속에서 진정한 ‘죽음의 징후’를 분별해 내는 것은 데이터의 양적인 팽창만으로는 불가능하다. 알고리즘이 특정 개인을 자살 고위험군으로 분류했을 때, 왜 그러한 판단을 내렸는지 설명할 수 있어야만 현장의 사회복지사와 임상가들이 신뢰하고 즉각적인 개입을 실행할 수 있다. 이것이 바로 단순한 기계학습을 넘어, ‘설명 가능한 인공지능(XAI)’이 생명의 골든타임을 사수하기 위한 필수적인 열쇠로 등장하게 된 배경이다.
---「01_“죽음의 징후와 디지털 발자국”」중에서

결론적으로 설명 가능한 인공지능은 기술적 성취를 넘어 사회복지 실천 패러다임의 확장을 의미한다. XAI 기술은 AI를 인간을 대체하는 ‘자동화된 의사 결정자’가 아니라, 인간 전문가의 판단을 돕고 보완하는 ‘인지적 동반자(Cognitive Partner)’로 격상시킨다. 전통적 사례 관리와 상담에서 실무자는 다분히 주관적 관찰과 경험적 직관에 의존하여 위험을 평가해 왔다. 반면 XAI 기반의 프레임워크가 도입된 현장에서는 상담사가 내담자를 마주하기 전, 대시보드(Dashboard)를 통해 해당 내담자의 자살 위험 점수와 더불어 그 점수를 구성하는 SHAP 기반의 긍정/부정 기여 요인을 상세히 브리핑 받는다.
---「03_“위험한 사람: 블랙박스를 여는 XAI”」중에서

사회·의료 데이터를 활용한 노인 자살 예측 모델은 강력한 도구이지만, 적용 과정에서 반드시 고려해야 할 윤리적 한계가 존재한다. 스마트폰이나 디지털 기기를 전혀 사용하지 못하는 초고령 독거노인, 혹은 병원조차 갈 수 없는 극빈층 노인의 경우 AI의 레이더망에 포착되지 않는 ‘데이터 소외’ 현상이 발생할 수 있다. 또한 예측 모델의 민감도를 과도하게 높일 경우, 일시적인 질환 악화나 재정적 어려움을 겪는 어르신조차 고위험군으로 오분류되는 ‘거짓 양성’의 우려가 있다. 이는 한정된 지역사회 복지 자원의 낭비를 초래하고 어르신에게 불필요한 낙인을 찍을 수 있다. 결국 노년층 자살 예측 인공지능은 완벽한 통제 수단이 아니라, 현장 사회복지사의 ‘인지적 보조 도구’로 설계되어야 한다. 데이터와 인공지능이 알려주는 징후는 신속한 개입의 출발점일 뿐이며, 최종적으로 어르신의 굳게 닫힌 마음을 열어주는 것은 인간의 따뜻한 손길과 돌봄이라는 사실을 잊지 말아야 한다.
---「06_“사회 의료 데이터와 노년층 자살 위험 예측”」중에서

챗봇의 자살 방조 논란과 예측 시스템의 딜레마를 관통하는 궁극적인 해답은 결국 인공지능의 법적 한계를 명확히 규정하는 데 있다. 인공지능이 예측을 실패하거나, 혹은 챗봇이 부적절한 대화로 내담자를 죽음으로 내몰았을 때, 현행 법제도는 기계 자체에게 책임을 물을 수 없다. 만약 AI 시스템이 특정 내담자를 ‘저위험군’으로 오분류(False Negative)하여 실무자의 위기 개입이 이루어지지 않았고, 결국 내담자가 자살로 생을 마감했다면 그 법적 책임은 누구에게 있는가? 알고리즘을 개발한 IT 기업인가, 시스템을 채택한 복지 기관인가, 아니면 최종적으로 내담자를 관리했던 사회복지사인가?