|
프롤로그. 모델 완성 뒤의 진짜 일
1장. LLMOps의 자리와 책임선 1절. 서비스 출시 이후의 빈자리 2절. 모델 개발자와 운영자의 경계 3절. 호출 한 번의 업무 지도 4절. 팀 연결의 공통 언어 2장. 프롬프트 버전관리의 운영 규칙 1절. 프롬프트 변경과 장애의 갈림길 2절. 버전·배포·롤백의 최소 단위 3절. 테스트셋과 승인 기록의 역할 4절. 기획·개발·보안 사이의 변경 합의 3장. 토큰 비용과 예산의 통제 구조 1절. 입력·출력 토큰의 단가 차이 2절. 캐시·요약·라우팅의 절감 구조 3절. 비용 폭주형 사용 패턴 4절. 지출 알림과 단가 보고의 언어 4장. 응답 지연의 체감선과 처리 우선순위 1절. 사용자 체감 1초의 무게 2절. 스트리밍·비동기·큐의 선택 기준 3절. 모델 속도와 품질의 교환 비용 4절. 지연 장애의 탐지와 소통 문장 5장. 품질 평가와 환각 감시의 기준 1절. 정답률 앞의 실패 유형 2절. 자동 평가와 사람 평가의 분업 구조 3절. 환각·누락·불일치의 추적 방식 4절. 품질 저하 신호와 배포 중단선 6장. 로그·트레이스·대시보드의 해석법 1절. 로그 보관 항목과 금지 항목 2절. 트레이싱 속 모델 호출 경로 3절. 대시보드 지표의 우선순위 4절. 개인정보 보호와 분석 가능성의 균형 7장. 모델 교체와 라우팅의 안전장치 1절. 새 모델의 성능 착시 2절. 모델 후보 비교와 전환 기준 3절. 카나리 배포와 되돌림의 조건 4절. 멀티모델 운영의 비용·품질 균형 8장. 장애 대응 플레이북과 온콜 문화 1절. LLM 서비스 장애의 대표 패턴 2절. 알림 기준과 최초 대응 문장 3절. 복구 순서와 책임자 호출선 4절. 장애 후 회고와 재발 방지 기록 9장. 프롬프트 주입과 데이터 보호의 방어선 1절. 프롬프트 주입의 운영 리스크 2절. 민감정보 노출과 로그 보관의 위험 3절. 출력 검증과 권한 분리의 원칙 4절. 보안팀 공동 운영 언어 10장. 개발팀·보안팀·현업 사이의 협업 회로 1절. 요구사항과 모델 지시문의 전환 흐름 2절. 보안 검토와 서비스 속도의 조정선 3절. 현업 피드백의 수집과 반영 기준 4절. 운영회의와 릴리스 노트의 실제 문장 11장. LLMOps 커리어의 역량 포트폴리오 1절. 개발 실력보다 중요한 운영 감각 2절. 프롬프트·로그·평가 데이터의 해석 능력 3절. 장애 대응 경험의 포트폴리오화 4절. 주니어 실무 프로젝트 포트폴리오 12장. 30일·90일·180일 운영 로드맵 1절. 첫 30일의 관찰 지표와 위험 목록 2절. 90일 배포·평가 체계 3절. 180일 운영 성숙도의 기준 4절. 조직 내 LLMOps 문화 에필로그. 모델 이후의 운영자 힘 |
|
AI 서비스의 진짜 실력은 첫 시연이 아니라 열 번째 배포와 한밤중 장애에서 드러난다. 답변 품질이 조금씩 흔들리고, 호출 비용이 예산을 넘고, 새 모델이 일부 사용자에게만 이상하게 작동할 때 누가 무엇을 보고 멈출지 정해져 있지 않다면 서비스는 빠르게 불신을 쌓는다. LLMOps는 화려한 모델 뒤의 보이지 않는 운영을 책임지는 직무다.
《LLMOps 엔지니어》는 이 새로운 역할을 추상적인 전망이 아니라 업무 단위로 설명한다. 프롬프트 변경을 코드처럼 기록하고, 평가셋과 승인 기록을 남기며, 비용·지연·품질을 한 대시보드에서 읽는 방법을 제시한다. 멀티모델 라우팅과 카나리 배포, 장애 플레이북, 로그의 개인정보 보호, 프롬프트 주입 대응을 통해 기술과 조직의 경계에서 어떤 판단이 필요한지도 보여 준다. 이 책을 읽으면 “AI를 공부하고 싶다”는 막연함이 구체적인 준비 목록으로 바뀐다. 어떤 프로젝트를 만들고 어떤 지표를 설명해야 하는지, 장애 경험을 어떻게 포트폴리오로 바꿀지, 입사 후 180일 동안 운영 체계를 어떻게 성숙시킬지 길이 보인다. 모델을 고르는 사람을 넘어 오래 믿을 수 있는 서비스를 만드는 사람이 되고 싶다면, 바로 이 직무의 언어부터 익혀야 한다. |