LLM의 학습은 방대한 텍스트를 압축하여 언어 구조를 익히는 과정이다. 이는 인간이 경험을 통해 세계를 이해하는 방식과는 다르다. 인간은 감각, 맥락, 논리적 추론을 통해 의미를 만들어 낸다. 그러나 LLM은 의미를 추론하지 않고 오히려 유사한 구성을 재구성한다. 따라서 LLM의 출력은 의미 이해의 결과가 아니라 통계적 근사치에 가깝다. 이러한 차이는 일상적인 대화에서는 드러나지 않는다. 그러나 전문 영역, 기업 의사 결정, 법률 해석, 의료 상담과 같이 정확성과 근거가 중요한 분야에서는 구조적 한계로 이어진다. 특히 기업 환경에서는 AI의 답변이 단순 참고가 아니라 실제 행동과 정책에 영향을 주기 때문에, “그럴듯함”과 “정확함”의 차이가 치명적이 된다.
－01_“LLM의 딜레마” 중에서

​앞서 설명한 사례처럼, 이러한 어드밴스드 RAG의 공통적인 지향점(오류 수정, 적응적 선택, 반복/그래프 추론)을 실제 시스템 수준에서 구현하려면 복잡한 상태 관리, 분기 로직, 반복 루프를 체계적으로 제어할 수 있는 구조가 필요하다. 여기서 랭그래프 같은 그래프 기반 워크플로와 에이전트 개념이 핵심 역할을 한다. 이제 RAG는 단순한 데이터 조회를 넘어, 스스로 학습하고 추론하는 루프를 그리며 빠르게 발전하고 있다. 이러한 그래프를 활용한 설계 위에서 에이전트는 “답변 평가”, “질문 재작성”, “웹 검색 호출”, “RAG vs 웹 검색 선택” 등 특정 역할을 맡아 동작한다. 이는 다음 장에서 자세히 다룰 에이전트 RAG의 개념과 직접적으로 연결된다.
－03_“어드밴스드 RAG의 등장” 중에서

일반적인 RAG에서는 먼저 벡터 데이터베이스에서 질문에 해당하는 문서 청크를 검색하고, 그 뒤에 LLM을 이용해 각 청크가 질문과 실제로 관련 있는지를 판단한다. 만약 검색된 모든 청크가 질문과 연관성이 있다고 판단되면, 기존 RAG 파이프라인과 동일하게 해당 청크들을 LLM에 넘겨 바로 답변을 생성한다. 반면 일부 청크가 질문과 무관하다고 판단되면, 질문을 다시 표현해(Reforming) 웹 검색을 수행해 추가적인 관련 정보를 확보하고, 새로 얻은 자료와 원래 질문을 다시 LLM에 전달하여 최종 응답을 만든다. 이렇게 “검색 → 관련성 검증 → 재검색 → 생성”의 순환 과정을 그래프 형태로 연결하면, 보다 유연하고 정확한 답변을 제공하는 에이전트 RAG 시스템을 구현하게 된다.
－06_“에이전트 RAG 설계” 중에서

먼저 전통적인 RAG 질의응답 체인을 구성해 랭체인과 연계한다. 이 체인을 사용해 근무 복장 기준 문서 내에 존재하는 질문(예: “근무 복장 선정 시 착안 사항 알려 줘”)에 대해 정확한 답변을 생성하는 것을 확인한다. ​그러나 RAG 지식에서 벗어난 질문(예: “백록담이 있는 산의 높이 알려 줘”)에 대해서는 “RAG에 관련 정보가 없습니다”와 같은 응답만 반환되어 질문에 제대로 답하지 못하는 한계가 드러난 것을 확인한다. 이 한계를 극복하기 위해 랭그래프 기반 에이전트 RAG가 구현된다. 실무에서는 먼저 이런 ‘기본 RAG 베이스라인’을 확인한 뒤, 어드밴스드/에이전트 RAG를 점진적으로 도입하는 것이 디버깅과 성능 비교에 유리하다.
－09_“에이전트 RAG 구현 실무” 중에서