GPT 아키텍처는 다양한 목적에 맞게 여러 버전이 존재한다. 이후 장에서 프로덕션 환경에 더 적합한 다른 라이브러리들을 다룰 예정이지만, 여기서는 안드레이 카르파트히가 개발한 OpenAI의 GPT-2 모델의 간소화 버전, minGPT를 소개한다. minGPT는 저장소에서 직접 구현하고 실험해볼 수 있는 가벼운 버전의 GPT 모델이다. / minGPT는 GPT 구조를 간단히 설명하기 위해 개발된 교육용 도구로, 약 300줄의 코드로 축약되었으며 파이토치 라이브러리를 사용한다. 단순한 구조 덕분에 GPT 계열 모델의 내부 작동 방식을 깊이 이해하는 데 유용하며, 코드에 각 과정에 대한 명확한 설명이 포함되어 있어 학습에 도움이 된다.
--- p.45

ICL(문맥 학습, in-context learning)은 프롬프트에 예제나 시연을 포함시켜 모델이 학습하는 접근 방식이다. 퓨샷 프롬프팅(few-shot prompting)은 문맥 학습의 하위 집합으로, 모델에 관련된 예제나 시연의 작은 집합을 제공한다. 이 전략은 모델이 일반화하고 더 복잡한 작업에서 성능을 향상시키는 데 도움을 준다. 퓨샷 프롬프팅은 언어 모델이 소수의 샘플로부터 학습할 수 있게 한다. 이 적응력 덕분에 모델은 소수의 훈련 샘플만으로 다양한 작업을 처리할 수 있다. / 제로숏 프롬프팅에서는 모델이 완전히 새로운 작업에 대해 출력을 생성하지만, 퓨샷 프롬프팅은 문맥 내 예제를 활용해 성능을 향상시킨다. 이 기법에서 프롬프트는 종종 여러 샘플이나 입력과 그에 따른 답변으로 구성된다. 언어 모델은 이러한 예제들로부터 학습하고 유사한 질문에 답변하는 데 이를 적용한다.
--- p.92

RAG 파이프라인 설정의 마지막 단계는 프롬프트를 준비해 LLM이 내재된 지식에 의존하지 않고 검색된 정보를 활용하도록 유도하는 것이다. 이 단계에서 모델은 편집자의 역할을 하며, 주어진 정보를 검토하고 프롬프트에 적합하게 답변을 정리하거나 생성한다. 마치 변호사가 모든 답변을 암기하고 있지 않을 때 질문에 답하기 위해 문서, 책, 데이터베이스를 찾아보고 정보를 ‘소화’해 답변을 제시하는 것과 유사하다. 변호사처럼 LLM이 주어진 리소스를 참조하게 해 오류(환각)를 줄이고자 하는 경우가 많다. / 이 작업을 위해 system_prompt와 user_prompt 두 가지 인수를 조정해야 한다. system_prompt의 주요 변경 사항은 모델이 제공된 특정 청크 정보를 이용해 질문에 답하도록 지시하는 것이다. user_prompt는 모델이 〈START_OF_CONTEXT〉와 〈END_OF_CONTEXT〉 태그 사이에 제공된 데이터만을 참조해 답변하도록 신호를 보낸다. 여기서 .join() 메서드를 사용해 검색된 청크들을 하나의 긴 문자열로 연결하고, .format() 함수를 통해 prompt 변수의 첫 번째와 두 번째 { } 자리 표시자를 각각 결합된 콘텍스트와 사용자의 질문으로 대체한다.
--- pp.115-116

LlamaIndex에서는 데이터 수집 후 문서를 처리 프레임워크 내에서 변환한다. 이 과정은 문서를 더 작고 상세한 단위인 Node 객체로 변환한다. 노드는 원본 문서에서 파생되며 주요 콘텐츠, 메타 데이터, 콘텍스트 세부 정보를 포함한다. LlamaIndex에는 문서 콘텐츠를 자동으로 구조화된 노드로 변환하는 NodeParser 클래스가 포함되어 있다. SimpleNodeParser를 사용해 문서 객체 리스트를 노드 객체로 변환하였다.
--- p.139

RAG에서 쿼리 생성(query construction)은 사용자의 질문을 다양한 데이터 소스에 호환되는 형식으로 변환하는 과정이다. 이는 비정형 데이터의 경우 질문을 벡터 형식으로 변환해 소스 문서의 벡터 표현과 비교하고, 가장 관련성 높은 청크를 식별할 수 있게 한다. 또한 SQL과 같은 언어로 쿼리를 작성해 데이터베이스와 같은 구조화된 데이터에도 적용될 수 있다. / 핵심 아이디어는 데이터의 내재된 구조를 활용해 사용자 쿼리에 답하는 것이다. 예를 들어 ‘movies about aliens in the year 1980(1980년 외계인에 관한 영화)’라는 쿼리는 ‘aliens(외계인)’과 같은 의미론적 요소(벡터 저장소를 통해 더 잘 검색된다)와 ‘year == 1980’과 같은 구조적 요소를 결합한다. 이 과정은 자연어 쿼리를 SQL(관계형 데이터베이스, structured query language)이나 사이퍼(그래프 데이터베이스, Cypher)와 같은 데이터베이스의 특정 쿼리 언어로 변환하는 것을 포함한다.
--- pp.272-273

RLHF의 마지막 단계는 앞서 개발한 모델들을 통합하는 것이다. 이 단계에서는 보상 모델을 사용해 파인튜닝된 모델을 인간 피드백에 더 가깝게 정렬하도록 한다. 학습 루프 동안 사용자 정의 프롬프트가 파인튜닝된 OPT 모델에서 응답을 이끌어내며, 이 응답은 보상 모델을 통해 평가된다. 평가 점수는 사람이 생성할 가능성이 높은 응답과의 유사성을 기준으로 부여된다.