카트

이미지 검색을 사용해 보세요

검색창 이전화면 이전화면

최근 검색어: 전체삭제

인기 검색어

닫기

LLM·RAG·에이전트 평가 따라하기 (LLM-as-a-Judge부터 RAGAS·DeepEval·Agent Eval까지)

미리보기 공유하기

소득공제 PDF

eBook LLM·RAG·에이전트 평가 따라하기 (LLM-as-a-Judge부터 RAGAS·DeepEval·Agent Eval까지)

스마트한 PDF 필기 기능을 사용해 보세요!

이창근 저

위키독스 2026.09.28.

회원리뷰 첫번째 리뷰어가 되어주세요

가격: 9,000원

9,000

YES포인트?: 450원 (5%)

5만원 이상 구매 시 2천원 추가 적립

앱 다운 시 1천원 상품권

결제혜택: 카드/간편결제 혜택을 확인하세요

PDF 안내

이 상품은 구매 후 지원 기기에서 예스24 eBook앱 설치 후 바로 이용 가능한 상품입니다.

예스24만의 독보적인 PDF 필기 기능을 경험해 보세요!

시리즈 태그 업체 공지사항 구성 소개 특별 구성 MD 한마디 카드뉴스 상세 이미지 소개 관련 동영상 목차 미리듣기 저자 소개 관련분류 품목정보 만든이 코멘트 예스24 리뷰 책 속으로 줄거리 캐스팅 관련 자료 부가 영상 출판사 리뷰 전문가 리뷰 추천평

펼치기/닫기

소개

생성형 AI의 답변은 하나의 정답으로 판단하기 어렵습니다. 그렇다면 LLM, RAG, Agent가 만들어 낸 결과의 품질을 어떻게 객관적으로 평가할 수 있을까요? 이 책은 LLM-as-a-Judge를 직접 만들어 보는 것에서 시작해 RAG 평가, Agent 평가, 평가 자동화까지 단계별로 다룹니다. 핵심은 LLM의 답변을 감이나 인상으로 판단하는 대신, 반복해서 측정하고 비교할 수 있는 평가 시스템을 만드는 것입니다. 처음부터 RAGAS나 DeepEval 같은 평가 도구에 의존하지 않습니다. PASS/FAIL 평가, Rubric 기반 평가, Pairwise Judge를 Python으로 직접 구현하며 LLM 평가가 어떤 원리로 동작하는지 이해합니다. 이후 RAGAS와 DeepEval을 사용하면서 각 점수가 실제로 무엇을 의미하는지, 어떤 한계가 있는지를 살펴봅니다. LLM-as-a-Judge 자체의 신뢰성도 검증합니다. 답변의 순서, 길이, 문체에 따라 평가가 달라지는 편향을 실험하고, 같은 답변을 반복 평가했을 때 점수가 얼마나 흔들리는지도 확인합니다. 또한 사람의 평가 결과와 비교하면서 Judge를 어떻게 보정해야 하는지도 다룹니다. RAG 평가는 검색과 생성을 나누어 살펴봅니다. Context Precision, Context Recall, Faithfulness 등의 지표를 이용해 문제가 검색 단계에서 발생했는지, 생성 단계에서 발생했는지를 추적합니다. Chunk Size, Top-K, 임베딩 모델, Reranker와 같은 설정도 감으로 선택하지 않고 평가 결과를 근거로 결정하는 방법을 배웁니다. Agent 평가에서는 최종 답변만 보지 않습니다. 어떤 도구를 선택했는지, 올바른 인자를 전달했는지, 어떤 실행 경로(Trajectory)를 거쳤는지, 계획은 적절했는지까지 평가 범위를 확장합니다. 평가 시스템을 실제 개발 과정에 적용하는 방법도 다룹니다. pytest를 이용해 평가를 테스트 코드로 만들고, Regression 평가와 GitHub Actions를 연결해 프롬프트나 모델을 변경했을 때 품질이 떨어지는지 자동으로 확인합니다. 더 나아가 운영 중인 서비스에서 지속적으로 평가하는 방법까지 살펴봅니다. 외부 API에만 의존하지 않고 Ollama와 vLLM을 이용해 오픈소스 모델을 Local Judge로 사용하는 방법도 다룹니다. 비용과 품질을 비교하면서 폐쇄망이나 개인정보 보호가 필요한 환경에서 평가 시스템을 구축하는 방법을 확인합니다. 마지막으로 글을 생성하는 것이 아니라 판단에 특화된 TypeSafe AI의 Jev를 Judge로 사용해 봅니다. 기존 LLM Judge를 Jev로 바꾸고, RAGAS-JEV와 DeepEval의 Jev 모드를 이용해 동일한 42문항을 다시 평가합니다. 이를 통해 판단 전용 모델을 사용했을 때 무엇이 달라지고, 어떤 문제는 여전히 남아 있는지를 직접 비교합니다. 이 책은 다음과 같은 독자를 대상으로 합니다. - LLM, RAG, Agent 애플리케이션을 개발하고 있지만 "잘 동작한다"는 것을 수치로 증명하기 어려운 개발자 - RAGAS나 DeepEval 예제는 실행해 봤지만 평가 점수의 의미와 한계를 설명하기 어려운 실무자 - 프롬프트, 모델, 검색 설정을 감이 아니라 평가 결과를 근거로 결정하고 싶은 팀 리드와 PM - 폐쇄망이나 개인정보 보호 환경에서 자체적인 AI 평가 체계를 구축해야 하는 기업 개발자 Python 기본 문법과 OpenAI 호환 API 호출 경험이 있다면 충분히 따라갈 수 있습니다. 이 책은 Claude Code(AI)를 활용하여 집필되었습니다. 모든 실습 코드는 실제 실행을 통해 검증하며, 각 페이지 상단에 [검증] 직접 실행 확인 또는 [참고] 공식 문서 기준을 표시하고 사용한 버전도 함께 기록합니다. 기준 버전은 RAGAS v0.4.x(Collections API), DeepEval v4.2.x이며, Jev 관련 절에서는 jev-1.13.0, typesafe-sdk 0.7.1, ragas-jev 0.2.0, DeepEval 4.2.6을 별도 가상환경에서 사용합니다. 예제 코드 - https://github.com/ady95/eval_tutorial 참고 자료 - RAGAS 문서: https://docs.ragas.io - DeepEval 문서: https://deepeval.com/docs - G-Eval 논문: https://aclanthology.org/2023.emnlp-main.153/ - Jev 소개(TypeSafe AI): https://typesafe.ai/blog/introducing-system-one-models-and-jev - DeepEval의 Jev 지원: https://deepeval.com/blog/introducing-jev-in-deepeval - RAGAS-JEV: https://github.com/ady95/ragas-jev - 관련 책 「Jev 따라하기」: https://wikidocs.net/book/21376

소개 더보기펼치기

00. 이 책을 시작하기 전에
01. 생성형 AI 평가는 무엇이 다른가
01-1. 데모와 제품의 차이를 만드는 평가
01-2. 실습 환경 준비하기
01-3. 실습: 같은 질문을 열 번 던져보기
02. 전통적인 지표와 그 한계
02-1. Exact Match, F1, BLEU, ROUGE
02-2. 임베딩으로 의미 비교하기
02-3. 실습: 네 가지 지표로 같은 답변 채점하기
03. LLM-as-a-Judge 직접 만들기
03-1. LLM을 평가자로 쓴다는 것
03-2. PASS FAIL Judge와 구조화 출력
03-3. 점수와 Rubric으로 평가하기
03-4. Pairwise Judge로 두 답변 비교하기
03-5. 실습: 답변 정확성 평가기 만들기
04. Judge를 믿어도 되는가
04-1. Judge의 편향과 흔들림
04-2. 실습: 순서를 바꾸면 판정이 바뀔까
04-3. 실습: 사람의 평가와 맞춰보기
04-4. Local Judge와 Multi-Judge
04-5. 실습: Jev로 Judge 바꿔 보기
05. RAG 평가의 구조
05-1. RAG는 무엇을 평가해야 하는가
05-2. 검색 결과 평가하기
05-3. Faithfulness와 Hallucination
05-4. 실습: 평가용 RAG를 만들고 직접 채점하기
06. RAGAS로 RAG 평가하고 개선하기
06-1. RAGAS 시작하기
06-2. 검색 품질 지표
06-3. 생성 품질 지표
06-4. 평가 결과에서 실패 원인 찾기
06-5. 실습: Chunk Size와 Top-K를 평가로 정하기
06-6. 실습: 임베딩 모델과 Reranker 효과 재기
06-7. 실습: RAGAS-JEV와 RAGAS 비교하기
07. DeepEval로 LLM 테스트하기
07-1. DeepEval 시작하기
07-2. G-Eval로 나만의 평가 기준 만들기
07-3. 실습: pytest로 LLM 테스트 작성하기
07-4. 실습: DeepEval에서 Jev 쓰기
08. Agent 평가
08-1. Agent는 왜 평가가 더 어려운가
08-2. 실습: 평가할 Agent와 Trace 만들기
08-3. Task Completion과 Tool 호출 평가
08-4. Trajectory와 Plan 평가
08-5. 실습: DeepEval로 Agent 전체 평가하기
09. Evaluation Engineering
09-1. 평가 데이터셋 만들기
09-2. Regression 평가와 CI CD
09-3. Failure Taxonomy로 실패 분류하기
09-4. 품질 비용 지연을 함께 보기
09-5. Production 평가
10. 실전 프로젝트
10-1. 프로젝트 1 사내 문서 RAG 평가 시스템
10-2. 프로젝트 2 업무 Agent 평가 시스템
10-3. 프로젝트 3 자동 Evaluation Pipeline
11. 맺으며: LLM-as-a-Judge 이후의 평가
부록A 평가 지표 한눈에 보기
부록B Judge 프롬프트 템플릿 모음
부록C 평가 데이터셋 템플릿과 프로젝트 구조
부록D 평가 시스템 설계 체크리스트

목차 더보기펼치기

저자 소개

연세대학교에서 기계공학 학부·석사를 마쳤습니다. SK컴즈, 싸이월드, 네이버에 근무하면서 IT 서비스를 경험했고, 넥스트랩 창업, 크라우드웍스 근무를 통해 AI를 공부하고 인사이트를 얻었습니다. 지금은 AI 에이전트와 신뢰도 기반 지능화 기술에 특히 관심을 가지고 있습니다.