"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

AI가 자꾸 틀리는 원인이 이 안에 있다.  

내가 만든 프로덕트의 AI 답변이 만족스럽지 못할 경우가 있다. 또는 Github Copilot, 커서 AI가 엉뚱하게 동작한다거나 토큰 비용이 과다하게 발생한다. 이럴 경우 해결법으로는 대개 프롬프트를 바꾸거나 더 싼 LLM으로 갈아타거나 새로운 채팅으로 시작하라고 한다. 모두 맞는 얘기지만 그 이유를 정확히 알고 있으면 더 싸게, 더 쉽게, 더 빠르게 내가 원하는 프로덕트를 만들 수 있을 것이다. 그 비밀은 컨텍스트에 있다.(맥락) 즉 컨텍스트 윈도우에 담겨있는 내용이 모든 답을 말해준다. 이 책은 AI 에이전트에서 컨텍스트를 효과적으로 다루는 방법을 개념과 예제를 통해서 설명한다. 

📚 책의 구성

＜1장 프롬프트 이후의 시대: 컨텍스트 엔지니어링 - 1.1.3 예제 코드로 이해하는 컨텍스트의 부재, p28~p30＞

＜6장 창작 및 교육: 맞춤형 AI 튜터와 세계관을 지키는 AI 스토리텔러 - 6.1.1 설정을 잊은 작가, p162~163＞

＜7장 AI 에이전트의 탄생 - 7.3.3 컨텍스트 흐름 시각화 다이어그램, p192~p193＞

＜9장 AI 고객센터 에이전트: 다중 컨텍스트 융합 - 9.4 다중 컨텍스트 융합 에이전트 만들기, p250~p257＞

"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

이 책을 읽고 나서 남은 말이 있다면, '프롬프트 잘 짜는 법을 배웠다'가 아니라 'AI를 대하는 방식이 달라졌다' 는 표현이 더 정확할 것 같습니다.

임베디드 개발을 오래 해온 입장에서, AI 도구를 쓰면서 늘 찜찜한 지점이 있었습니다. 분명 제대로 된 질문을 던진 것 같은데 결과가 엉뚱하거나, 방금 나눈 대화를 기억 못 하거나, 내 코드베이스의 맥락을 전혀 반영하지 못하는 답이 돌아오는 순간들이요. 이 책은 그 원인을 "프롬프트가 나빠서"가 아니라 "컨텍스트가 설계되지 않았기 때문" 이라고 명쾌하게 짚어줍니다.

'질문하는 기술'에서 '환경을 설계하는 기술'로

실무 경험자인 저자의 컨텍스트 윈도우의 토큰 비용, RAG의 실제 한계, 메모리 전략의 트레이드오프까지 현장 감각이 느껴지는 설명들이 꽤 인상적입니다.

책의 핵심 주장은 단순합니다. 프롬프트 엔지니어링이 AI에게 '어떻게 물어볼까'의 기술이라면, 컨텍스트 엔지니어링은 AI의 작업 기억 공간에 '무엇을 채워줄까'를 설계하는 기술이라는 것이죠. AI는 우리 생각을 대체하는 게 아니라, 우리가 넣어준 정보를 증폭할 뿐이라는 말이 책 전체를 아울러서 이야기합니다.

개발자 눈으로 특히 와닿았던 부분들

2장에서 다루는 stateless 특성의 설명은 저처럼 오래된 개발자에게 꽤 익숙한 언어로 다가옵니다. 상태 없는 함수처럼 동작하는 AI에게 기억과 지식과 상황 인식을 부여하는 과정이, 결국 우리가 시스템 설계할 때 늘 하던 일과 다르지 않다는 걸 느끼게 됩니다.

특히 밑줄 긋게 만들었던 세 가지 개념이 있었습니다.

• 기억: 이전 대화나 작업 결과를 잃지 않고 저장하고 활용하는 구조
• 외부 지식 접근: RAG를 통해 파일, DB, 웹 등 외부 정보를 실시간으로 끌어오는 방식
• 상황 인식: 현재 시간, 사용자 상태, 변화하는 목표를 AI가 파악하게 만드는 법

이걸 보면서 '아, 내가 AI한테 바라던 게 사실 이거였구나' 싶었습니다.

CoT(Chain of Thought) 파트도 흥미롭습니다. 특히 Few-shot CoT에서 AI에게 '생각의 과정 예시'를 몇 개 보여주는 것만으로 추론 품질이 달라진다는 내용은, 예전 코드 리뷰할 때 신입 개발자에게 예시 코드를 먼저 보여주는 방식과 묘하게 닮아 있어서 기억이 새록새록 합니다.

실무 에이전트 구현까지

후반부는 주니어 개발자 에이전트, 고객센터 에이전트, 의료 연구원 에이전트를 직접 파이썬으로 구현하는 실습으로 채워집니다. 특정 LLM 버전에 종속되지 않는 패턴으로 설계했다는 점이 마음에 들었습니다. 요즘처럼 모델이 빠르게 바뀌는 환경에서, 원칙이 흔들리지 않는 설계를 가르쳐주는 책이 귀하거든요.

아쉬운 점도 있습니다

파이썬 코드가 기반이라 다른 언어 중심 개발자에게는 코드 예제의 진입 장벽이 약간 있습니다. LangChain 생태계가 워낙 빠르게 변하는 탓에, 실습 코드는 깃허브 최신 버전을 병행해서 보는 게 좋을 것 같습니다. 개념의 수명은 길겠지만 코드의 수명은 좀 짧을 수 있습니다.

이제는 올바른 환경을 만들어주는것이 중요한 시대

AI를 그냥 '쓰는' 사람보다 'AI가 제대로 판단하도록 설계하는' 사람이 되고 싶은 분께 강하게 추천합니다. 저처럼 자율주행, 멀티센서 퓨전처럼 도메인 지식이 깊고 복잡한 영역에서 AI를 활용하려는 개발자라면, RAG 기반 지식 주입이나 컨텍스트 수명 주기 관리 챕터가 특히 직접적으로 와닿을 겁니다.

'AI에게 좋은 질문을 던지는 것'에서 'AI가 올바른 판단을 내리도록 환경을 만들어 주는 것'으로. 그 패러다임의 전환을 이 책은 꽤 설득력 있게 안내해 줍니다. :)

컨텍스트 엔지니어링을 중심으로 사용자가 만족할 수 있는 AI 에이전트 개발에 도움이 될만한 다양한 팁과 기법들이 소개된 책.

기존 책들이 프롬프트 엔지니어링 중심으로 기술한 한계를 넘어, RAG,메모리,에이전트 아키텍처를 아우르는 컨텍스트 엔지니어링에 초점을 맞춘 책이다.

책에 등장하는 법률 어시스턴트나 고객 상담 챗봇 등을 구현하다보면 저자가 강조하는 컨텍스트 엔지니어링에 대한 감을 잡을 수 있고 유사 패턴을 반복하여 익힐 수 있게 구성되어 있다.

다양한 예제로 설명되어있지만 그 중에서도 가장 대표적으로 저자의 컨텍스트 엔지니어링 아이디어를 잘 전달하는 페이지는 9장의 다중 컨텍스트 처리 흐름을 도식화한 그림이 아닐까 한다.

고객의 입력을 받아 병렬 컨텍스트 수집을 통해 합성을 진행하는 그림 상단부분이 가장 중요한 부분인데 그 중에서도 병렬 컨텍스트 수집 박스 안의 세가지 요소가 중요하다.

CRM 데이터의 경우 DB 연동을 통해 고객의 정보를 연결하는 부분이다. 다양한 챗봇이 등장하고 있음에도 여전히 고객이 챗봇에 대해 불편을 느끼는 문제 중 하나는 자신의 상황과 동떨어진 대답을 하는데서 비롯된다.

고객이 직접 주문한 물품이 배송상황이나 구입 후 활용하는 방법에 문제가 있어 질의를 하게 되는 것이 대부분인데 고객의 상황을 고려하지 않고 엉뚱하고 뻔한 대답을 늘어놓는 것은 고객으로 하여금 시간낭비를 일으키거나 답답한 감정을 불러일으키는 요소가 된다.

다음으로 RAG를 활용하여 전문 지식을 확보한다. 전문지식의 경우 고객이 구매한 제품의 매뉴얼이 될 수도 있고, 법률 분야의 최신 판례 혹은 연구 분야의 최신 정보가 이에 해당한다.

사용자가 현재 관심을 두고 있는 영역에 대한 자세하고 정확한 지식을 사전에 학습해 둠으로써 사용자가 원하는 답변을 효율적으로 보다 정확하게 전달할 수 있다.

마지막 의도분석 영역은 보다 소통을 원활하게 해준다. AI는 전용의 페르소나를 가짐으로써, 기본적으로 행동지침, 말투, 목표 등의 특징을 설정받는다. 이 책의 예시 중 하나인 스토리 텔러 챗봇의 경우 세계관의 헌법을 지정함으로써 맥락과 엉뚱한 방향의 스토리 진행을 제어할 수도 있다.

이를 통해 사용자 입장에서의 만족도 확보는 물론, 정확도를 향상시킬 수 있고, 경험 기반 최적화 및 경험 DB 확보 등 여러 장점을 얻을 수 있게 된다.

이 책의 또 하나의 장점은 컨텍스트 엔지니어링을 에이전트화하여 결합하여 활용할 수 있는 가이드라인을 제시하는데 있다. 7장의 컨텍스트 흐름 다이어그램이 컨텍스트간의 흐름을 자동화하여 구성할 수 있음을 보여주는 좋은 도식이다.

그 외에도 몇가지 인상적인 내용들이 있다. 복잡한 강화학습 알고리즘 없이도 컨텍스트를 통해 행동의 가중치를 업데이트하는 효과를 얻을 수 있는 기법이나 접근 권한별로 RAG를 접근 제어하는 방식 등은 큰 노력을 들이지 않아도 깔끔하게 실무에서 운영중인 에이전트를 손쉽게 손볼 수 있는 아이디어를 주기에 만족스러웠다.

전반적으로 예제들이 프로덕션을 지향하는 로드맵을 제시해준다는 점도 마음에 드는 부분이다. 대부분의 예제는 저자가 실무에서 활용중인 코드를 가져온 것이 아닐까 싶을 정도로 완성도가 높으며 이를 코어로 살을 붙여나간다면 독자가 현업에 빠르게 적용할 수 있을거라는 생각이 든다.

컨텍스트 엔지니어링 사고를 중심으로 보다 사용자가 만족할 수 있는 AI 에이전트를 구현하고 싶은 독자라면 이 책을 일독할 것을 권하고 싶다.

• 책소개 - 컨텍스트 엔지니어링으로 구축하는 AI 에이전트

"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬받아 작성된 서평입니다."

책의 부제목은 "랭체인, RAG, CoT, ReAct, LLMOps로 구현하는 AI 서비스 실전 가이드" 입니다.

단순한 현시점의 기술을 넘어서, 몇년 뒤에도 활용 가능하고 AI에 대한 조직에 적용 방향 및 원리에 대해서 근본적인 해결책을 제시하려는 책입니다. 

실습 환경은 아래와 같습니다.

■ 내용 구성

· AI의 한계 이해 → 실무 적용 → 에이전트 구축 → 실전 확장 흐름으로 구성됩니다.

1부 — AI의 구조적 한계를 진단하고, RAG·퍼소나·CoT 등 핵심 도구를 학습합니다.

2부 — 배운 도구들을 개발, 고객 지원, 전문직, 교육, 창작 등 실제 현업에 적용하는 전략과 코드를 실습합니다.

3부 — 앞서 배운 기술들을 통합해 스스로 목표를 이해·계획·행동하는 AI 에이전트를 직접 구축합니다.

4부 — AI 에이전트가 현실에서 마주하는 문제 해결법과 향후 확장 가능성을 제시하며, 컨텍스트 엔지니어로 나아가는 다음 단계를 안내

■ 1부

· 막연하게 알고 있는 프롬프트와 컨텍스트가 무엇이고, 왜 중요한지 설명합니다.

AI가 잘 답변하기 위해서는 어떻게 프롬프트를 입력해야 하는 것이 아닌, 어떤 정보를 제공해야 하는지가 관건입니다.

컨텍스트가 있는 경우와 없는 경우를 비교분석을 통해서, 그 차이를 확실히 알수 있습니다.

AI가 작업기억을 할수 있고, 흐름있는 내용으로 답변을 할수 있게 수행을 합니다.

책에서는 컨텍스트 엔지니어링을 아래와 같이 정의하고 있습니다.

· 컨텍스트 윈도우의 사이즈를 어떻게 효율적으로 사용할수 있을까요?

각 AI모델마다 제공해주는 사이즈가 다르고, 이것을 활용하기에 토큰이 필요합니다.

직접 내용 붙여넣기, 페소나 설정, 원하는 결과물을 제공해서 답변 받기, 외부지식 RAG를 활용해서 구성

RAG를 구현해보면서, pdf, 문서, 자료, text정보등을 주입하는 방식도 구현도 시도해봅니다.

CoT를 활용해서, AI추론을 극대화 하는 방법도 제시합니다.

■ 2부

· 4가지 실제 유용한 컨텍스트 패턴에 대해서 학습을 합니다.

AI를 사용하면서, 우리의 의도를 잘 파악 못하고 어뚱한 답을 하는 경우에 대한 해결책이 될것입니다.

· 코드 페이프로그램에 대해서 어떻게 학습할지 전략적인 사항을 설명합니다. 이제 많이 AI를 사용하시는데 팀/프로젝트에서 기준을 잡고

시작해야 효과적인 구성이 됩니다. 실제 사례기반이니 잘 활용해서 기준을 잡을수 있습니다.

· 챗봇의 경우, 이전에 문의했던 내용을 쭉 이어서 상담하지 못한 문제를 풀어가고 있습니다.

결국 최종적으로 기억,지식, 공감하는 챗봇의 형태를 구현해봅니다.

· 법률/의료에 대한 신뢰 및 전문가 적은 AI에이전트를 구성해봅니다.

최신 판례등이 매우 중요한데, AI가 그것을 알지 못하게 되면 큰 문제가 발생합니다.

최신 치료법을 모르는 AI는 큰 문제가 됩니다. 이러한 것을 어떻게 해결할수 있을지 구성되어 있습니다.

■ 3부

· 나만의 에이전트를 구성해봅니다.

2부에서는 각 분야의 해결 방식을 배웠다면, 3부에서는 그 기술을 하나의 자동화된 워크플로우로 구성해보는 내용입니다.

대화형 AI에서 행동하는 AI로 진화를 하고 있습니다.

AI에이전트는 감지, 판단, 행동, 학습이라는 4가지 핵심기능이 있고 유지적으로 순환 및 지능구현을 합니다.

다양한 케이스에 대해서, 코드설명이 잘 되어 있고, 아키텍처 레벨로 접근해서 워크플로우 구성을 진행합니다.

시나리오 기반으로 내용을 구성해서 코드 구현하는 부분도 좋았습니다.

■ 컨텍스트 관점에서 평가, 윤리, 미래에 대한 내용

· AI를 사용시에 고려해야 할 사항들이 많이 있습니다. 이러한 내용을 전반적으로 학습하고 알고 있는 것이 추후 확장성 및 안정성을 

확보하는데 많은 도움이 됩니다.

· AI에서 만들어진 코드들에 대한 디버깅은 기존에 SW개발을 진행하며서 수행하였던 디버깅과 다른 부분이 있습니다.

LLM, 컨택스트, 메모리에서 발생할수 있는데, 사전에 인지하고 미리 대비하는 것이 좋은 방향입니다.

· 잘못된 답변에 대한 책임은 누구한테 있는 것이고, 윤리적인 측면은 어떨까요? AI를 사용하는 것에 대한 설계하고 책임지는 역활이 필요합니다.

· 해킹과 방어에 대해서는 새롭게 대비해야 하는 중요한 부분입니다. 데이터에 대한 제한 처리 및 직/간접적인 공격요소에 대해서 살펴보고

방어할수 있는 시스템 및 프로세스가 필요합니다.

· 책에 전반적으로 샘플코드가 잘 작성되어 있습니다.

단순 코드 뿐만이 아니라, 하나하나 코드에 대한 설명이 주석으로 잘 전달됩니다.

AI에 대해서 더욱 잘 활용하고, 지속적으로 관리하는 구성을 만들고 싶다면 이책에 내용을 이해하고

확장해가면 구성하고 싶은 시스템 구축에 많은 도움이 될것 같습니다.

"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬받아 작성된 서평입니다."

AI 는 발전이 너무 빨라서, 이를 놓치지 않기 위해서는 계속 공부를 하고 있습니다.

예전에는 AI 의 원리와 만드는 방법 등을 공부했었는데, 자원의 한계 등으로 인해 개인적으로 해보기는 어려운 부분이 많더라구요.

그래서 요즘은 AI 를 어떻게 잘 활용할 것인가에 많은 관심을 두고 있습니다.

최근에 AI 를 활용한 서비스 관련 기획서를 작성했었습니다.

개인의 주관이 어쩔 수 없이 많이 들어가게 되는 UI 만큼,

답변을 정확히 예측하기 어려운 AI 를 어떻게 해야할지 많이 고민했었습니다.

요즘에 주변에서 "그냥 AI 가 알아서 해줄거야" 라는 말을 많이 듣지만,

예측이 제한적인 AI 의 답변에 시스템의 동작을 맡기게 되면

실행의 일관성을 유지하기 어렵고 결과물의 품질을 객관적으로 측정하기도 까다로워집니다.

이번 책인 "컨텍스트 엔지니어링으로 구축하는 AI 에이전트' 은 저의 고민을 해결할 방법을 제시해줍니다.

시작하기전에.

이번에 기획서를 작성할 때, Claude Docs 를 많이 참고했었습니다.

이번에 책을 읽다보니 상호보완하면서 읽으면 좋겠다는 생각을 많이 했습니다.

https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview

책에서는 #, --- 등으로 구분을 하지만, Claude 에서는 ＜＞ 같은 태그를 기반으로 항목을 명확히 정의합니다.

큰 차이는 없을 것 같지만, 그래도 각 AI API 의 공식문서에서 제공하는 형태로 사용하는게 제일 효율이 좋다고 생각합니다.

아래와 같은 Golden Rule 도 있으니 API 를 사용하기 전에 자신이 사용하는 API 문서를 한번쯤 읽어보세요.

다시 책의 내용으로 넘어가겠습니다.

이 책에서는 이러한 문제를 효율적인 컨텍스트 엔지니어링으로 해결하려고 합니다.

이를 위해, "AI 메모리의 한정된 공간을 얼마나 효율적으로 활용할 것인가?" 에 대한 답을 찾아갑니다. 

최적의 컨텍스트를 AI 에게 제공할 경우, 다음과 같은 이점이 있습니다.

• 금전적 비용 : 토큰의 수가 줄어들기 때문에, 비용이 절감됩니다.
• 시간 비용 : 계산에 사용되는(읽어야하는) 토큰의 수가 줄어들기 때문에, 응답속도가 빨라집니다. 
• 성능 비용 : 너무 많은 정보는 정보를 놓치게 만듭니다. 줄어든 토큰 수는 AI 가 중요 정보에 집중하게 만듭니다. 

*AI 도 인간처럼 무한정 기억하지 못합니다. AI 가 기억하고 처리할 수 있는 정보의 양은 정해져 있고 이를 컨텍스트 윈도우라고 합니다. 이를 표현하는 단위로 토큰(AI 가 이해하는 최소단위)이 있는데, 한글은 한글자를 표현하는데 1~2 토큰 정도를 차지합니다.

AI 서비스를 만들면 내 도메인/지식에 대한 RAG 를 사용할 확률이 높습니다.

내가 제공한 검증된 데이터 내에서 정확한 답변을 제시하기 위한 방법을 많이 고민했습니다. 

이 책에서는 법률관련 AI 비서를 구현하는 예제를 통해 이 방법을 소개합니다.

출처를 표기하게 하고 AI 가 모를 경우 모른다라고 답변하라는 프롬프트를 사용합니다.

책의 예시는 간단하지만 조금만 더 복잡해지면,

이 출처정보를 가져오는 것 자체가 난관이됩니다.

예시에서는 메타데이터를 출처를 표기하기 위한 데이터로 활용했지만

메타데이터를 따로 더 관리하여 필터링 등으로 활용하여 유사도 검색의 범위를 줄일 수 있습니다.

이런 예시들을 따라가면 AI 의 성능을 높이는 컨텍스트 엔지니어링 기술을 배울 수 있습니다.

그리고 이를 기반으로 세세한 지시 없이도 스스로 행동하는 AI 에이전트를 만드는 법을 알려줍니다.

이 AI 에이전트도 컨텍스트가 핵심입니다.

AI 에이전트에서는 최적의 컨텍스트 환경을 설계하고 자동화하는 것이 중요하다고 소개합니다.

에이전트는 감지센서(읽기 도구), 판단 시스템(LLM), 행동 모듈(쓰기/수정 도구), 학습 기능(메모리 컨텍스트) 을 구성요소로 컨텍스트 중심 아키텍처를 설계한다고 합니다.

랭그래프에서 기본적으로 제공하는 아키텍처인 ReAct 패턴은  "생각 -＞ 행동 -＞ 관찰" 을 반복하여 작업을 수행합니다.

이 루프는 아주 효율적이지만 "행동" 을 수행하는 데 최적화되어 있습니다.

하지만 이는 수집된 여러 컨텍스트를 어떻게 통합하고 우선순위를 정할지에 대한 명시적이고 표준적인 계층이 부족하다고 책에서 언급합니다. 

행동 루프 이전에 컨텍스트를 체계적으로 처리하는 아래의 확장 아키텍처를 소개합니다. 

이 설계는 AI 에이전트를 단순히 "생각하고 행동하는" 존재가 아니라, "다양한 컨텍스트를 입력받아 최적의 컨텍스트를 명확한 근거를 바탕으로 행동하는 시스템"으로 정의합니다. 정보를 처리하는 흐름에 따라 5개층으로 구분합니다.

• 입력 컨텍스트 계층 : '사용자 목표', '현재 환경(파일 목록, 시간 등)', 'RAG 등의 외부 데이터' 수집
• 처리 계층 : 컨텍스트 필터링, 요약, 합성 등으로 컨텍스트 정제
• 추론 계층 : 컨텍스트와 과거 메모리를 CoT 등을 활용하여 LLM 행동계획 수립
• 행동 계층 : 도구 호출 등의 행동 
• 피드백 계층 : 학습 및 메모리 업데이트 

위 흐름에 맞춰 작성한 코드 예시입니다.

저자는 지능이란 모델의 크기가 아니라, 얼마나 건강하게 호흡하고 순환하는 컨텍스트 생태계를 만들었는가에 달려 있다고 합니다.

(물론, 어느정도 지능을 가진 LLM 이어야한다고 생각합니다)

이후에는 단일 컨텍스트 한계를 극복하기 위한 다중 컨텍스트 융합 아키텍처도 소개합니다.

사실상 많은 경우가 다중 컨텍스트일 것입니다.

저는 여기서 조금 정보간에 상호작용하도록 구성하기도 했는데요.

고객 정보의 특징을 기반으로 의도를 분석하기도 하고, RAG 의 우선순위나 필터링에 사용하기도 했습니다.

실시간성이 중요하지 않다면 시도해는것도 좋을 것 같습니다.

제가 공식 문서를 쭉 읽어가면 적용했던 부분들을 정리된 책으로 보니,

머릿속에 다시 정리되는 기분이었습니다.

요즘엔 AI Agent 툴들이 아주 좋지만, 동작방식을 파악하고 제대로된 정보를 주입할 수 있다면

기존 툴들도 더 효율적으로 사용할 수 있다고 생각합니다.

그리고 내용 자체가 어려운 내용들은 아니니 부담없이 읽으실 수 있습니다.

📚 책의 핵심 메시지

• RAG (검색 증강 생성)
• CoT (Chain of Thought)
• 단기·장기 메모리 전략
• AI 에이전트 설계 패턴
• 품질 평가 및 디버깅
• 프롬프트 인젝션 등 보안 이슈

🔍 이 책이 좋은 이유

1️⃣ 이론서가 아니라 설계서다

2️⃣ RAG를 한 번이라도 삽질해본 사람에게 특히 좋다

• RAG를 붙여봤는데 성능이 들쭉날쭉했던 사람
• 메모리를 붙였는데도 맥락을 잃는 경험을 한 사람
• 데모는 되는데 운영은 불안했던 사람

3️⃣ LLMOps 관점까지 확장한다

• 어떻게 품질을 측정할 것인가?
• 오류를 어떻게 디버깅할 것인가?
• 프롬프트 인젝션은 어떻게 막을 것인가?

👥 이런 사람에게 추천

❌ 이런 사람에게는 조금 어려움

• 완전 비개발자
• LLM을 한 번도 안 써본 입문자
• 모델 내부 수학 이론을 깊게 배우고 싶은 사람

🧠 총평

"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다."
 
 
한빛미디어에서 운영중인 리뷰어 프로그램을 통해 읽게된 책이다. 평소 AI를 업무에 활용하고 있고, 이와 관련된 코드를 직접 작성해서 사용하기도 한다. 사용하면서 큰 불만은 없었지만, 한편으로는 '프롬프트 엔지니어링', '컨텍스트 엔지니어링' 같은 용어들이 계속 등장하는 것이 마음에 걸렸다. 본질적으로 무엇이 다른 것인지, 또 하나의 마케팅용 유행어인지가 궁금했다. 그 의문에서 이 책을 펼쳤다.

이 책에서 프롬프트 엔지니어링은 AI에게 질문을 잘하는 법이고, 컨텍스트 엔지니어링은 AI에게 풍부한 자료를 쥐여주는 법이라 설명한다. 나는 컨텍스트 엔지니어링이란 특별한 기술이라기 보다는 AI를 이용하여 원하는 결과를 얻어내기 위한 접근 방식으로 진일보한 것으로 이해하게 되었다. 이전에는 컨텍스트를 정보를 검색하기 위한 참고 자료처럼 생각했는데, 책을 읽은 이후에는 검색, 메모리, 도구 호출, 상태 관리 등 LLM 모델이 활용할 수 있는 맥락 전체를 기술적인 이해를 바탕으로 설계하는 접근 방식으로 바라보게 되었다.
 
 
이 관점에서 보면  컨텍스트 엔지니어링은 나의 업무 데이터를 완벽히 이해하는 전문가 동료, 즉 에이전트를 만들기 위한 구조로 이어진다. 에이전트가 단발성 응답을 넘어 자율적으로 동작하려면 지속적으로 상태를 유지하고, 외부 데이터를 검색하고, 필요하면 도구도 호출하고, 그 결과를 응축해서 다시 정리하는 흐름이 필요하다. 책은 AI를 단순한 LLM 호출, 즉 상태없는 함수로 사용할 것이 아니라 상태를 가진 객체를 사용하는 것으로 진화시켜야 한다고 이야기한다. 
 
최근 나오는 LLM 모델들의 컨텍스트 윈도우가 함께 확장되었지만, 단순히 많은 정보를 넣는다고 해서 결과가 좋아지지는 않는다.  책에서는 컨텍스트 윈도우가 여전히 한정된 자원임을 분명히 한다. 불필요한 정보가 섞이면 오히려 판단이 흐려지면서 비용과 응답 지연도 발생한다. 결국 중요한 것은 양적 확장이 아니라 질을 높이는 설계다. 결국 컨텍스트 엔지니어링은 정보를 쥐여주는 것이 아니라 적절한 정보를 선택하고 이를 압축하여 알맹이만 전달하는 기술이어야 한다는 생각이 들었다.
 
 

 
 
이 책은 크게  4부로 구성된다.
1부: 컨텍스트의 개념과 컨텍스트 엔지니어링의 핵심 요소
2부: 기본 에이전트 구현
3부: 더 발전된 에이전트의 구조와 설계
4부: 에이전트 디버깅 및 평가, 지속적인 개선방법
 
 
2부와 3부에서는 LangChain을 기반으로 실제 에이전트를 파이썬으로 구현한다. 코드 자체는 읽기 수월한 편이다. LangChain 프레임워크가 워낙 워크 플로와 객체를 잘 추상화해두었기 때문에 책 내용을 코드로 이해하는데 어렵지 않다.다만 혹시나 LangChain이 익숙하지 않다면 부록B를 먼저 읽고 본 내용을 보는 것이 이해에 도움이 될 것이다.
 
 
특히 재미있게 읽은 부분은 9장에서 설명하는 컨텍스트 합성기이다. 어떤 맥락을 어떻게 조합하여 모델에 전달하는 구조를 만들 것인지를 다룬다. 이 부분을 읽으면서 최근 등장한 여러 에이전트간 상호 작용 개념(A2A 등)이 왜 필요해졌는지 자연스럽게 연결되어 이해되었다.
 
디버깅을 다룬 4부의 내용도 실무적으로 유용하다. 에이전트가 오작동할 때 막연히 LLM의 문제라고 보기보다는 판단(LLM)의 문제인지, 감지(검색/RAG)의 문제인지, 기억(memory)의 문제인지를 구분하여 접근한다. 이 프레임이 현업에서도 도움이 될 것 같다. 다만 책이 컨텍스트 엔지니어링을 다루는 책이므로 LangSmith 도구와 관련 컬럼만 소개할 뿐 자세히 다루지는 않는다. 이 부분은 따로 살펴봐야겠다.
 
이 책은 에이전트를 처음 만들어 보려는 개발자 뿐만 아니라 이미 구축된 RAG 시스템이나 내부 업무용 AI 도구를 개발한 사람들에게 도움이 있다. 단순 구현을 넘어 어떤 식으로 개선할 것인지를 다루고 있다. 개발업무에 적용하는 에어전트, CRM/CS업무에 활용할 수 있는 에이전트, 학습을 돕거나 학습하는 에이전트(법률/의료/교육/창작)를 만들고 이를 개선시키는 과정 속에서 저자가 고민해 온 에이전트의 설계 구조와 개선 방향을 엿볼 수 있었다.