|
프롤로그. 취약점을 먼저 발견하는 직업
1장. 공격이 허용되는 이유: AI 레드팀의 일 1절. 레드팀 전문가가 실제로 책임지는 것 2절. 테스트가 이루어지는 일터 3절. 보안·개발·평가 인력의 협업 2장. AI 서비스의 취약점은 어디에 생기는가 1절. 모델에서 서비스까지의 경계 2절. 사용자 입력과 외부 자료의 신뢰 차이 3절. 위협 모델과 우선순위 3장. 프롬프트 인젝션의 실체 1절. 정상 요청을 가로채는 지시문 2절. 검색 결과와 문서에 숨는 공격 3절. 성공 주장과 재현의 차이 4장. 기밀과 개인정보의 유출 위험 1절. 비밀의 종류와 노출 판단 2절. 권한이 엇갈리는 검색과 기억 3절. 유출 증거의 경계 5장. 안전장치 우회와 AI 오용 1절. 탈옥과 정책 위반의 차이 2절. 다회차 대화가 만드는 실패 3절. 민감한 사용 영역의 위험 해석 6장. 도구를 쓰는 AI의 위험 1절. 도구 호출과 과잉 권한 2절. AI 에이전트의 외부 연결 3절. 사람의 승인과 실행 환경 7장. 시험 전에 끝내야 할 설계 1절. 목표와 허가 범위 2절. 위험 가설과 테스트 사례 3절. 중단 기준과 데이터 통제 8장. 수동 탐색과 자동화 도구 1절. 사람이 찾아내는 실패 2절. PyRIT·garak·Inspect의 쓰임 3절. 탐색 결과를 숫자로 읽는 법 9장. 발견을 보고서로 바꾸는 기술 1절. 증거의 완결 조건 2절. 심각도와 사업 영향 3절. 개발자에게 전달하는 수정 제안 10장. 고친 뒤에 더 중요한 재검증 1절. 방어책의 적용 위치 2절. 회귀 테스트와 배포 판단 3절. 출시 후 지속 점검 11장. 보안·개발·AI 연구자의 진입 경로 1절. 보안 전문가의 전환 2절. 개발자의 전환 3절. AI 연구자와 도메인 전문가의 전환 12장. 포트폴리오와 커리어의 다음 단계 1절. 안전한 실습과 90일 훈련 2절. 채용·면접에서 확인하는 역량 3절. 커리어 확장과 직업 윤리 에필로그. 공격의 결과를 신뢰로 돌려놓는 사람들 |
|
새로운 AI 서비스가 출시될 때 많은 사람은 답변의 유창함을 먼저 본다. 그러나 보안 담당자의 질문은 다르다. 누가 이 답변을 유도했는가, 어떤 자료가 사용되었는가, 그 답변이 실제 행동으로 이어질 권한은 어디까지인가. 겉보기 성능만으로 놓치기 쉬운 물음들이다.
AI 레드팀을 자극적인 탈옥 사례와 동일시하면 직무의 절반 이상이 보이지 않는다. 이상 응답과 실제 취약점은 다르고, 한 번의 시험 성공과 반복 가능한 위험은 다르다. 결과를 보여주는 스크린샷 한 장보다 시험 조건, 입력 출처, 모델과 서비스의 구성, 영향 범위를 설명하는 기록이 더 오래 쓰인다. 이 책은 그 차이를 직업인의 언어로 풀어낸다. 독자는 서비스의 신뢰 경계에서 출발해 프롬프트 인젝션, 기밀 노출, 정책 우회, 도구 사용의 위험을 차례로 살핀다. 이어 허가 범위를 확정하고 시험을 설계하며 결과를 재현하고 보고하는 과정을 만난다. 자동화 평가의 오탐과 누락, 수정 뒤 회귀시험, 모델팀과 개발팀의 책임 분담까지 연결한 구성은 공격 기술을 아는 것과 검증 업무를 수행하는 것의 차이를 선명히 한다. 이 분야로 진입하려는 사람에게도 현실적인 질문을 남긴다. 웹 보안 경력을 어떻게 AI 서비스 시험으로 옮길 것인가. 개발 경험을 어떤 증거와 포트폴리오로 보여줄 것인가. 화려한 직함을 좇기보다 실제 시험을 설명할 수 있는 능력을 만들고 싶다면, 위험을 발견한 다음 무엇을 해야 하는지부터 읽어야 한다. |