AI 보안 거버넌스는 AI 시대 보안 공격과 방어 체계에 부합하도록 보안 전략, 정책, 책임 및 의사 결정 구조를 체계적으로 설계, 운영 및 감독하는 관리 체계를 말한다. AI 환경에서는 기존 보안 규정이 더 이상 적용되지 않을 수 있고, 자동화된 AI 방어 시스템은 사람의 개입 없이도 차단과 허용을 결정하며, 그 과정에서 업무 마비, 정상 사용자 차단 및 편향된 판단 등 의도하지 않은 피해가 발생할 수도 있다. AI 보안 거버넌스를 통해 우리가 이제까지 직면하지 못했던 새로운 갈등, 법, 윤리, 경영의 문제 및 기술적인 문제점 등을 해결하여야 한다. AI 도입과 관련된 경영진 간의 갈등을 어떻게 해결하고 소통할 것인가? AI가 수행한 공격에 대한 방어 판단에 오류가 발생했을 때, 책임은 누구에게 귀속되는가? AI가 자동으로 의사 결정을 수행할 경우, 인간의 개입은 어느 수준에서 어떤 절차로 보장되어야 하는가? AI 방어 시스템에 대한 통제권은 어떻게 확보하고 외부 검증은 어떤 방식으로 수행되어야 하는가? 등이 우리가 당면하게 될 주요한 문제들이다.
--- 본문「01_“AI 시대의 보안 거버넌스”」중에서

AI 보안 컴플라이언스는 네 개의 핵심 개념을 축으로 재편되어야 한다. 첫째는 설계 내재화(Compliance by Design)다. 보안, 프라이버시, 윤리 요구사항을 사후에 덧붙이는 방식이 아니라, AI 개발 초기 단계부터 설계에 반영하고 기반으로서 준수해야 한다. 데이터 수집 단계의 법적 정당성 검토, 모델 아키텍처의 프라이버시 보호 기술 적용, 배포 전 모델 추적 가능성 확보, 학습 데이터 및 사용 목적과 자동 결정 지점 등을 설계 문서에 명확히 포함하는 것을 말한다. EU AI Act에서 고위험 시스템에 대해 ‘기본권 영향 평가(Fundamental Rights Impact Assessment)’를 사전 필수 의무로 지정한 것이 대표적 사례다.
--- 본문「03_“AI 시대의 보안 컴플라이언스”」중에서

AI 기반 공격의 가장 큰 특징은 자동화된 공격이 지속적이고 대규모로 확장된다는 점이다. 공격자는 단일 시스템을 넘어 동일한 AI 모델을 사용하는 다수의 금융기관을 동시에 표적으로 삼을 수 있다. 그러므로 이러한 공격은 개별 기관의 문제가 아니라 금융 시스템 전반의 안정성을 위협하는 구조적 문제로 확산될 수 있다. 또한 AI 공격은 점진적으로 진화한다. 초기에는 미세한 오류나 비정상 패턴으로 시작되지만, 시간이 지나면서 모델의 판단 기준 자체를 왜곡시킬 수 있다. 이로 인해 금융기관은 문제가 발생했을 때조차 그 원인을 정확히 식별하지 못하는 상황에 직면할 수도 있다. AI를 활용한 공격은 자동화, 고속화되어 인간이 대응하기가 어려울 수 있다. 이것은 전통적인 사후 대응 중심 보안 체계가 더 이상 유효하지 않음을 의미하며, 사전적이고 예측적인 대응 체계의 필요성을 요구한다.
--- 본문「06_“AI 시대의 금융 산업 보안”」중에서

AI가 실제로 여행 서비스를 운영하는 환경에서는 보안을 바라보는 기준도 달라진다. 기존의 접근 통제와 암호화만으로는 충분하지 않다. 첫째, 의사 결정에 대한 관리가 필요하다. 어떤 데이터가 어떤 판단에 사용되었는지를 내부적으로 추적할 수 있어야 한다. 이는 외부 공개를 위한 것이 아니라, 문제가 발생했을 때 원인과 책임을 분명히 하기 위한 최소한의 조건이다. 둘째, 사전 통제가 중요해진다. 자동화된 시스템일수록 권한은 제한적으로 설계되어야 하며, 모든 판단을 기계에 맡기는 것이 항상 효율적인 선택은 아니다. 셋째, 지속적인 모니터링이 필요하다. AI 모델과 에이전트는 시간이 지나면서 변한다. 이러한 변화를 운영 차원에서 관리하지 않으면, 작은 오류가 예상치 못한 사고로 이어질 수 있다.