AI 모델 성능 평가의 주요 목적은 다음과 같다. 첫째, 모델의 예측 정확도와 신뢰성을 정량적으로 측정한다. 이를 통해 모델이 실제 문제 해결에 적합한지 판단할 수 있다. 둘째, 여러 모델을 공정하게 비교하여 최적의 모델을 선택할 수 있는 기준을 제공한다. 셋째, 모델의 취약점을 발견하고 개선 방향을 도출한다. 넷째, 이해관계자들에게 모델의 성능을 객관적으로 전달할 수 있는 근거를 마련한다.
--- 「01_“AI 모델 성능 평가 기초”」 중에서

환자 우선순위 결정에서는 순위 정확도가 생명을 좌우할 수 있다. 응급실 중증도 분류나 장기 이식 대기자 순위에서는 고위험 환자가 상위에 오는지를 중점적으로 평가한다. Precision@k보다는 Recall@k가 더 중요할 수 있다. 치료 효과 예측에서는 개인별 치료 반응의 이질성을 고려한다. 평균적인 예측 정확도보다는 극단적인 반응을 보일 환자를 정확히 식별하는 것이 중요하므로, 분위수 회귀와 예측 구간의 정확도를 함께 평가한다.
--- 「03_“회귀 및 순위 모델 성능 평가”」 중에서

제조 현장에서 AI 기반 품질 검사 시스템의 성능을 평가할 때 가장 중요한 두 가지 지표는 결함 탐지율과 오탐률이다. 이 두 지표는 서로 상충 관계이며, 산업별 특성에 따라 최적의 균형점이 달라진다. 단, 여기서 제시하는 성능 평가 수치는 제조 분야에서 알려진 논문이나 시스템의 수치를 제시한 것으로 실제 제조 분야에서는 이 장에서 요구하는 것보다 더 높은 수준의 성능을 요구할 수 있다.
--- 「06_“제조 분야 AI 모델 성능 평가”」 중에서

도메인 특화 데이터 세트를 구축하기 위해서는 먼저 해당 산업의 데이터 특성을 깊이 이해해야 한다. 의료 분야는 개인정보 보호가 최우선이며, 질병의 희귀성으로 인한 클래스 불균형이 심각하다. 제조 분야는 결함 데이터가 극도로 희소하고, 환경 변화에 따른 데이터 분포 변화가 빈번하다. 금융 분야는 시계열 특성이 강하고 규제 준수가 필수다.