|
AI 모델 밖에서 완성되는 성능
01 하네스 02 작업 명세 03 맥락 구성 04 도구와 스킬 05 메모리와 상태 06 오케스트레이션 07 실행 환경과 샌드박스 08 권한과 가드레일 09 관찰 가능성 10 평가와 검증 |
|
AI의 성능은 모델 밖에서 완성된다
AI 시연은 놀랍지만 운영은 자주 실망스럽다. 낡은 문서를 근거로 답하고, 권한이 없어 멈추고, 어제의 실수를 오늘 다시 반복한다. 문제를 모델의 지능 부족으로 돌리기 쉽지만 실제 병목은 다른 곳에 있을 수 있다. AI가 무엇을 보고, 어떤 도구를 쓰고, 어디서 멈추며, 실패를 어떻게 기록하고 복구할 것인지 설계하는 ‘모델 바깥의 실행 구조’를 다룬다. 저자는 이를 하네스라 부른다. 작업 명세와 맥락 구성, 도구와 메모리, 오케스트레이션은 일을 끝내게 하고, 샌드박스와 권한·가드레일은 허용된 방식으로 행동하게 하며, 관찰 가능성과 평가·검증은 결과와 실패를 추적하게 한다. 특히 AI 에이전트가 자율적으로 행동할수록 사람의 역할은 매번 결과를 확인하는 검수자에서 승인 지점과 예외 처리 규칙을 설계하는 감독자로 이동한다. 이 책은 프롬프트를 잘 쓰는 법보다 AI가 일하는 환경을 어떻게 설계할지를 묻는다. 모델은 바뀌어도 축적된 규칙과 검증, 기록과 복구 구조는 조직에 남는다. AI 시대의 경쟁력은 가장 최신 모델을 먼저 쓰는 데 있지 않다. 실패를 발견하고 통제하며 같은 실수를 반복하지 않는 실행 기반을 갖추는 데 있다. |