GPT-3.5가 세상을 뒤흔든 챗GPT로 거듭나는 데 핵심적인 역할을 한 기술은 무엇일까? 바로 인간 피드백 기반 강화학습(RLHF)을 비롯한 사후학습이다. 그러나 그 구체적인 방법과 노하우는 오랫동안 소수 빅테크를 중심으로 축적되어 왔다. 오픈 언어모델 Tülu 개발에 참여해 온 네이선 램버트의 이 책은 사후학습의 전 과정을 한눈에 조망할 수 있도록 체계적으로 엮은 참고서다. 지시 미세조정, 보상 모델링, 강화학습, 직접 선호 최적화(DPO)부터 추론 스케일링, 합성 데이터, 평가에 이르기까지 폭넓게 다룬다.
LLM을 ‘활용하는’ 데서 한 걸음 더 나아가, 원하는 목적과 가치에 맞게 모델을 ‘정렬하고 다듬으려는’ AI 개발자와 연구자, 대학원생에게 이 책을 권한다. 직관적인 설명에 수식과 코드 예제가 더해져, 독자는 자신의 배경지식과 필요에 맞춰 개념을 이해하고 구현으로 나아갈 수 있다.
오늘날 파운데이션 모델을 처음부터 학습하기 어려운 환경에서는 공개 모델을 어떻게 다듬고 특화하느냐가 중요한 경쟁력이 된다. 이 책은 보상 설계와 정렬의 원리를 바탕으로 공개 모델을 자신의 도메인과 서비스에 맞게 다듬는 길잡이이자, 나아가 AI 에이전트의 학습을 이해하고 설계하는 데에도 든든한 기초가 될 것이다.
