"프리렉 출판사로부터 책을 제공받아 작성된 서평입니다."

[책리뷰] 개발자답게 코드로 익히는 강화학습

전반적인 소감 및 마음에 드는 부분

책 제목을 오해하면 안된다. '수학적 장벽 없이'를 '수학 없이'로 잘못 받아들이면 안된다는 뜻이다. 그렇다고 해서 코드가 많다거나 코드를 아주 자세하게 설명해주거나 그런 것도 아니다. 딱 핵심적인 코드만 짧고 간결하게 설명해준다. 강화 학습 올인원 기초라는 부가 설명이 딱 알맞은 책이다. 책에 나온 코드를 그대로 적용하기는 어렵겠지만 적어도 어떤 흐름에 의해서 어떤 결과가 나오는지 쉽게 알 수 있다. 내가 다른 리뷰에서도 자주 언급하지만 파이썬 기초 문법 설명이 없다. 따라서 쓸데없이 프로그래밍 문법 설명하느라 지면을 낭비하는 부분이 전혀 없다. 기본 개념부터 최신 알고리즘과 어떤 분야에서 주로 사용하는지도 설명해주어서 좋았다.

대상 독자 및 책 난이도

기본적으로 강화 학습을 공부하고 싶은 개발자들이 대상 독자다. 그러나 강화 학습이 무엇인지 알고 싶은 사람들에게도 충분히 좋은 학습서다. 게다가 인공지능 기본 개념도 포함하고 있기 때문에 개발자가 아니더라도 개발자들이 하는 용어를 정확히 이해하고 싶은 사람들에게 추천한다. 특히 금융 분야에서 쓰이는 강화 학습을 많이 다루고 있기 때문에 금융권 종사자들에게 권유하고 싶다. 단 행렬과 미분이 어떤 것인지 조금이나마 접해본 사람들이어야 한다. 물론 책에서 미분이 뭔지 개념 설명은 해준다.

다루는 내용과 범위

강화 학습 학습을 위한 기초 개념부터 PPO, A2C 등 최신 정책 기반 알고리즘과 Optuna와 같은 자동화 도구도 함께 다룬다.

1. 강화 학습 기본 개념
2. 강화 학습 기본 알고리즘
3. 다이나믹 프로그래밍과 몬테카를로 방법
4. 시간차 학습, 살사, Q러닝
5. 인공지능 개념
6. 함수 근사법
7. 가치기반 강화 학습과 DQN 알고리즘
8. 정책 기반 강화 학습 Reinforce 알고리즘
9. 정책 기반 A2C 알고리즘
10. 정책 기반 PPO 알고리즘
11. 인공신경망 튜닝
12. 베이지안 최적화 기법
13. Stable-Baseline3
14. 인공지능 자산 배분 전략
15. 인공지능 자산 배분 전략 튜닝

결론

강화 학습을 어렴풋이 알고 있었는데 이 책을 통해 개념을 좀 더 명확하게 잡을 수 있을 것 같다. 신가하게도 금융권에서 강화 학습을 사용할 줄은 몰랐다. 주식 시장에서의 자동 매매 시스템, 고빈도 트레이딩 전략, 원자재 선물 시장에서의 리스크 조절 모델 등 이런 것들이 강화 학습으로 이루어지고 있다고 한다. 금융 시장의 경우 변수가 워낙 많아서 인공지능 활용이 어려울거라 생각했는데, 강화 학습을 통해 이미 보편적으로 사용되고 있는게 재밌었다. 본래 강화 학습을 통해 인공생명체 분야에 좀 더 연구를 진행해보고 싶었는데 난이도 있어 바로 적용하기는 어려웠다. 그래도 이 책 덕분에 강화 학습 기본 개념들을 정리할 수 있었으니 천천히 시도해봐야겠다.