베타리더 후기 x
시작하며 xiii
이 책에 대하여 xv

PART I 개발 전 필요한 배경지식

CHAPTER 1 LLM과 RAG 기초 3
1.1 LLM의 개념과 작동 원리 4
1.2 LLM의 주요 특징 16
1.3 LLM의 실제 활용 사례 17
1.4 RAG란? 18
1.5 RAG 파이프라인 구성 시 LangChain 활용의 장점 21

CHAPTER 2 벡터 저장소와 임베딩, 검색 전략 24
2.1 RAG 파이프라인의 핵심 구성 요소 24
2.2 벡터 저장소 검색 방식 비교 30

CHAPTER 3 프롬프트 엔지니어링 기초 35

PART II LangChain을 활용한 RAG 파이프라인 구성하기

CHAPTER 4 LangChain 입문 45
4.1 LangChain이란? 45
4.2 환경 설정과 LangChain ChatOpenAI 활용법 47

CHAPTER 5 로컬 및 오픈소스 LLM 활용: Ollama와 허깅 페이스 54
5.1 Ollama를 활용한 로컬 LLM 활용 55
5.2 허깅 페이스의 오픈소스 LLM 활용 60

CHAPTER 6 Chroma를 활용한 벡터 저장소 구성 69

CHAPTER 7 retrieval 효율 개선을 위한 데이터 전처리 79

CHAPTER 8 LLM을 효율적으로 사용하는 방법 84
8.1 분할 정복 85
8.2 LCEL의 특징 87
8.3 소규모 LLM을 활용한 비용 최적화 101

CHAPTER 9 LangChain을 활용하지 않는다면? 108

CHAPTER 10 LangChain의 유연한 AI 스택 구성 114

PART III LangGraph를 활용한 AI 에이전트 구현하기

CHAPTER 11 LangGraph 입문 127
11.1 LangGraph란? 127
11.2 LangGraph와 LangChain의 차이점 129

CHAPTER 12 워크플로 vs. 에이전트 134
12.1 LangGraph로 구현하는 워크플로 135
12.2 LangGraph로 구현하는 에이전트 144

CHAPTER 13 에이전트 오케스트레이션 157
13.1 슈퍼바이저 상태 및 라우터 정의 172
13.2 슈퍼바이저 구성 요소 설정 173
13.3 Command 클래스와 구조화된 출력 기능을 활용한 슈퍼바이저 노드 구현 174
13.4 에이전트 노드 구현 176
13.5 에이전트 노드의 역할과 구현 방식 178
13.6 그래프 구성 및 컴파일 182

CHAPTER 14 MCP를 활용한 에이전트 구현 186
14.1 MCP 서버 구현 189
14.2 LangChain 도구를 MCP 도구로 변환 196

CHAPTER 15 LangSmith를 활용한 에이전트 모니터링 205
15.1 Input(입력) 209
15.2 Output(출력) 210
15.3 TOTAL TOKENS(토큰 사용량) 211
15.4 LATENCY(지연 시간) 212
15.5 LangSmith를 활용한 에이전트 평가 213

CHAPTER 16 실전 AI 에이전트 구현 사례 215
16.1 우버의 대규모 코드 마이그레이션 에이전트 216
16.2 AppFolio의 부동산 관리 코파일럿 217
16.3 링크드인의 AI 리크루터 218
16.4 일래스틱서치의 AI 어시스턴트 219
16.5 Klarna의 고객 지원 AI 어시스턴트 220

PART IV LLM 성능 평가

CHAPTER 17 LLM 평가의 중요성 225
17.1 LLM의 예측 불가능성 225
17.2 안정적인 AI 에이전트 서비스를 위한 평가의 중요성 226
17.3 LLM 평가의 고유한 어려움 228
17.4 체계적인 LLM 평가 접근법 233

CHAPTER 18 LLM 평가 지표 240
18.1 검색 정확도 관련 지표 241
18.2 응답 품질 관련 지표 244
18.3 사용자 경험 관련 지표 247
18.4 종합 평가 지표 251
18.5 RAG 시스템의 핵심 평가 영역 253
18.6 평가 지표 간의 균형과 최적화 255

CHAPTER 19 LLM 평가를 위한 골든 데이터셋 257
19.1 골든 데이터셋의 개념 257
19.2 골든 데이터셋 구축 방법 259
19.3 골든 데이터셋의 구조화와 협업 도구 활용 262
19.4 골든 데이터셋 활용 방법 267
19.5 효과적인 골든 데이터셋 구축과 활용 전략 270

CHAPTER 20 오프라인 평가 vs. 온라인 평가 271
20.1 오프라인 평가 272
20.2 온라인 평가 274
20.3 하이브리드 접근법 284
20.4 RAG 시스템을 위한 평가 전략 288
20.5 효과적인 LLM 평가를 위한 전략적 접근 293

CHAPTER 21 LangSmith를 활용한 에이전트 평가 294

CHAPTER 22 앞으로 나아갈 방향 308
22.1 에이전트의 지능 향상 308
22.2 멀티 에이전트 시스템으로의 확장 309
22.3 실제 비즈니스 적용을 위한 다음 단계 310

찾아보기 314