국방에서 LLM은 쓸 수 있느냐의 문제가 아니라 어떤 조건에서, 어떤 방식으로, 어떤 책임 구조 아래에서 활용할 수 있느냐가 핵심이 된다. 이 질문에 답하기 위해서는 LLM이 국방에서 가장 민감하게 작동할 수 있는 영역을 먼저 살펴볼 필요가 있다. 그 중심에는 군사 의사 결정 지원 체계가 있다. 작전 계획 수립, 상황 판단, 정보 분석과 같은 영역은 단순한 행정 업무와 달리 실제 작전 수행과 직접적으로 연결되며, 그 결과가 전장 환경과 인명 피해로 이어질 수 있다. 더 중요한 것은 이 영역이 LLM의 기술적 특성이 가장 첨예하게 충돌하는 지점이라는 점이다. 확률적 추론에 기반하는 LLM은 동일한 입력에 대해서도 일관되지 않은 출력을 낼 수 있고, 학습 데이터에 내재된 편향이 특정 상황 판단에 왜곡을 일으킬 수 있으며, 적대적 입력에 취약한 구조적 특성을 가진다.
－01_“국방과 LLM” 중에서

할루시네이션이 모델 내부에서 필연적으로 발생한다면, 해결책은 모델을 완벽하게 만드는 것이 아니라, 오류 발생 확률을 최대한 낮추는 동시에 모델 스스로 자신의 한계를 인정하게 만드는 데 있다. 첫째, ‘기권’ 훈련의 도입이다. 오픈AI의 리포트에 따르면, 모델이 불확실한 질문에 대해 추측성 답변을 내놓는 대신 “정보가 부족하여 답변할 수 없습니다”라고 기권하도록 인센티브를 재설계해야 한다. 국방용 LLM의 경우, ‘정확도’보다 ‘오류율’ 최소화를 최우선 지표로 삼아야 한다. 모르는 것을 모른다고 보고하는 AI가, 틀린 정보를 섞어 주는 AI보다 전술적으로 훨씬 가치 있다.
－03_“할루시네이션 리스크” 중에서

앞서 살펴본 편향의 다양한 양상−교리적 편향, 확전 경향, 인지 편향의 증폭, 문화적, 지정학적 편향, 워게임에서의 정박 효과−은 하나의 결론으로 수렴한다. 기계학습 모델의 편향을 수학적으로 완전히 ‘제로(0)’로 만드는 것은 불가능에 가깝다는 사실이다. 모델의 깊은 신경망 어딘가에 잔존하는 미세한 편향은, 전시라는 극단적 스트레스 상황이나 전례 없는 외교적 위기와 결합할 때 언제든 예기치 않은 전략적 왜곡으로 튀어 오를 수 있다. 따라서 국방 환경에서 편향을 통제하는 가장 확실하고도 최종적인 방어선은 결국 인간 중심 통제로 귀결된다. 인간 중심 통제란 시스템의 작동 프로세스 중간에 사람을 단순히 물리적으로 세워두는 요식 행위를 뜻하지 않는다. 이는 AI가 제시하는 정보의 태생적 한계와 편향 가능성을 사용자가 명확히 인지하고, 필요할 때 언제든 개입하여 시스템의 결정을 기각할 수 있는 실질적인 권한과 능력을 의미한다.
－06_“모델 편향성과 전략 왜곡” 중에서

이런 블랙박스 문제를 해소하고 전술적 신뢰성을 확보하기 위한 가장 현실적이고 강력한 방법론은 ‘전술적 출처 추적’ 체계를 구축하는 것이다. 이는 LLM이 텍스트를 생성할 때 자체적인 사전 학습 가중치에만 의존하지 않고 신뢰할 수 있는 외부의 군사 지식 베이스를 실시간으로 검색하여 답변의 근거로 삼는 RAG 아키텍처를 국방 환경에 맞게 고도화한 개념이다. 이 책에서 계속 언급되는 RAG 시스템은 단순히 관련된 문서를 찾아 모델에 던져주는 것에 그쳐서는 안 된다. 생성된 작전 계획의 모든 핵심 문장과 지시 사항에는 그것이 군사 교리집의 몇 조 몇 항인지 혹은 당일 수신된 몇 시 기준의 지휘소 정찰 첩보인지 명확히 가리키는 ‘문장 단위의 출처 인용’ 태그가 의무적으로 부착되어야 한다. 이를 통해 지휘관은 LLM이 생성한 요약 텍스트를 수동적으로 소비하는 대신 하이퍼링크로 연결된 원본 전술 문서를 즉각적으로 대조 확인하여 정보의 진위를 스스로 교차 검증할 수 있는 통제권을 쥐게 된다. 특히 국방 특화 고도화로 추론 결합형 RAG(RAG-R)가 제시된다.
－09_“전술적 지원을 위한 신뢰성 확보” 중에서