강화학습 알고리즘을 코드 구현 중심으로 설명하고, 실제 학습되는 코드를 제공하는 저서를 찾기 어렵다. 이러한 어려움을 해결하고자 2023년에 첫 번째 책인 「강화학습 기본과 PyTorch」를 출간하였고, 이 책은 2024년 세종도서 학술 부문에 선정되기도 하였다. 이번에는 두 번째 책인 「강화학습 기본 다지기와 PyTorch」를 출판하게 되었다.

첫 번째 책에서는 환경과 에이전트의 예제를 시작으로 Bellman 방정식을 소개하며, 전통적인 가치 기반(value-based) 강화학습인 DQN(Deep Q Network), Double DQN, Dueling DQN, PER(Prioritized Experience Replay) 등을 다루었다. 두 번째 책에서는 N-step DQN, NoisyNet, Categorical DQN(C51), QRDQN(Quantile Regression DQN), IQN(Implicit Quantile Network), FQF(Fully parameterized Quantile Function), Rainbow와 같은 다양한 알고리즘을 심도 있게 다루어, 가치 기반 강화학습의 폭넓은 기법들을 설명하고자 했다.

이 책은 다음의 네 가지 집필 원칙을 바탕으로 집필되었다.

1. 알고리즘을 구현한 코드가 학습되어야 한다.
2. 코드로 구현하는 데 중점을 두어 알고리즘을 설명한다.
3. 가능한 한 그림을 활용하여 이해를 돕는다.
4. 알고리즘과 코드를 이해했는지 확인할 수 있도록 연습문제를 제공한다.

알고리즘을 구현한 코드가 학습이 안 되면, 알고리즘을 실질적으로 사용할 수 없으므로 첫 번째 원칙이 필요하다. 알고리즘 이해는 코드 구현으로 완성되므로, 두 번째 원칙에 따라 코드 구현을 염두에 두고 알고리즘을 설명한다. 또한, 다양한 그림을 사용하여 알고리즘에 대한 이해도를 높이고자 했으며, 독자가 알고리즘 내용과 코드 내용을 이해했는지 확인할 수 있도록 연습문제를 제공하여 나머지 원칙을 실천하고자 했다.

QRDQN, IQN, FQF는 분위수를 이용하는 알고리즘으로, 다른 알고리즘들과 차이점이 크지만, 각 알고리즘을 용어 설명과 구성 요소, 신경망 구조, 정책(policy), 학습 데이터(memory), 손실(loss), 파라미터 업데이트 함수, main, 코드 설명, 전체 코드, 연습문제와 풀이라는 공통된 주제를 통해 설명함으로써 일관성을 유지하려고 노력했다.

출간 후 나올 수 있는 수정사항이나 참고자료 등은 자유아카데미 홈페이지 자료실(www.freeaca.com)을 통해 게시할 것이니 참고하기를 바란다. 앞서 출간한 강화학습 시리즈 1과 이번 시리즈 2를 통해 강화학습의 기본 개념과 가치 기반(value-based) 강화학습을 소개하였다. 시리즈 3에서는 정책 기반(policy-based) 강화학습에 대해 다룰 예정이다.