전에 파이썬을 공부했던 것을 복습할 겸 가볍게 강화 학습을 다뤄보고 싶어서 입문용으로 이 책을 구매했다. 책은 생각보다 두껍진 않았다. 구성은 01장부터 08장까지 있는데 01장 강화 학습이란에서는 강화 학습의 개념을 소개하고 있고 02장 강화 학습에 딥러닝 조합하기에서는 딥러닝 개념을 설명하고 있다. 03장과 04장은 게임을 이용해 강화 학습과 딥러닝을 실습해본다. 05장에서는 강화 학습을 통한 자연어 처리를 공부하고 06장은 분산 학습을 공부한다. 07장과 08장은 NAS를 소개한다. 이론 부분은 입문자여서 아무래도 바로 이해하긴 어렵긴 하지만 천천히 실습해보면서 따라가니 큰 틀은 잡히는 것 같았다.

제목에 그냥 적어놓은 문구인줄 알았는데, 정말 자비스를 만드네요.

(목소리는 나오지 않으니까 참고하세요. 나왔으면 더 재밌었을 것 같아요) 

요즘 어딜가나 GPT 이야기가 끊이질 않는데, 직접 실습해볼 수 있어서 좋았어요!

그리고 GPT-2 기대하고 봤는데, GPT-3도 있어서 권한 신청해뒀습니다. 

빨리 승인되면 좋겠네요. 

GTP-2 내용을 포함하고 있다고해서 예약 구매하고 기다렸던 도서인데, 1장 읽고 실망했습니다.

강화학습에서 가장 기본이면서도 가장 중요한 개념이 MDP, 가치함수(상태 가치함수, 상태-행동 가치 함수), 벨만 방정식(벨만 기대 방정식, 벨만 최적 방정식), MC/TD, On-Policy/Off-Policy이고, 그 중에서 정말 중요하면서 시작점이 되는 것이 문제를 정의하는 방법인 MDP와 정책 학습을 위한 가치함수 및 벨만 방정식입니다. 그런데 가치함수와 벨만 방정식 설명부터 틀립니다.

벨만 기대 방정식과 벨만 최적 방정식은 그 목적과 계산식이 다릅니다. 그런데 "벨만 방정식을 푸는 알고리즘"이라고 기술된 내용은 둘의 개념과 식을 혼용하여 모호하게 섞어쓰면서 틀린 내용을 기술합니다. MDP에서 리워드는 상태에 대한 함수가 아니며, R(s,a)로 상태-행동에 대한 함수이고, 상태에 리워드가 주어지는 것은 MRP입니다.

상태에 리워드를 할당하는 것을 넘어간다쳐도, 만약 모든 행동에 대한 리워드는 그 행동을 했을때 도착하는 다음 상태로 정하겠다고 가정하였다면 모를까, 현재 상태에서 무슨 행동을 해도 무관하게 현재 상태의 리워드를 적용하는 것은 받아들이기 어렵습니다. 그리고 터미널 상태는 가치함수의 값이 항상 0입니다. 이는 가치함수의 정의가 현재 상태로 부터 에피소드를 진행하였을 때 받을 리턴의 기대값이기 때문에, 에피소드의 터미널 상태는 스텝을 진행하여 받을 리워드가 없습니다. 그런데 이 책에서는 터미널 상태의 가치함수도 그 상태의 리워드 값으로 설정합니다.

Q러닝는 Off-Policy TD Control 방법론인데, 그리드 월드에 대한 Q러닝 코드를 보면 MC 방법론처럼 에피소드가 끝난 후에 역으로 Q값을 계산해 나갑니다. 그것도 넘어간다 쳐도, 경험을 쌓은 행동 정책도 Greedy 정책을 사용하기 때문에 On-Policy 방법으로 구현되어 있습니다. 상태전이확률이 stochastic한 것과 행동을 선택하는 것이 입실론-Greedy로 stochastic하게 하는 것은 전혀 다른 것인데, 이를 잘못 구현한 것인지...

DQN은 단순히 Q러닝과 딥러닝을 합친 것만이 아니라, 리플레이버퍼와 타겟 네트워크를 따로 둔 것이 키인데, 이런 부분에 대한 설명도 없고, PPO는 아예 알고리즘 설명이라고 할 내용이 없습니다.

더 심한 것은 PPO는 On-Policy 알고리즘이라 이전의 정책으로 쌓은 경험을 DQN처럼 재 사용할 수가 없어 샘플 효율성(Data efficiency)이 좋지 않은 Policy-Gradient 알고리즘입니다. 그런데 "에이전트가 환경으로부터 얻는 샘풀을 바로 사용할 수 있어 샘플 효율성이 좋다"라고 설명합니다.

이 책의 추천사를 써준 교수들은 이 책을 읽어보긴 한건지 의심스러울 정도입니다.

이 책 보다는 기본 개념을 충실하고 정확하게 설명한 "바닥부터 배우는 강화학습" 이나 '파이썬과 케라스로 배우는 강화학습" 책을 추천합니다.

클라우드컴퓨팅을 전공하고 수년이 흘러

강화학습에 관심이 생겨 여러 입문 서적을 살펴보다가

마침 최근에 발간된 책이 있어 주문을 했습니다.

저는 이론보다는 실습위주 구성이 좋아서 이렇게 저렇게 따라 해보는데

역시 머리보다는 눈으로 손으로 해보니까 이해가 더 잘 되네요.

아직 갈길이 멀지만 다른 서적들도 같이 보명 더욱 효과적일 것 같고

나만의 자비스가 완성되는 그 날까지 노력해보겠습니다.

저같이 초심자용으로는 정말 괜찮은 책이네요~!

인공지능, 머신러닝/딥러닝 등에 관심만 가지고 있었고,

여기저기 인터넷에 글들 읽어보면 읽기는 하지만 어렵기도 하고 뭔가 와닿지 않는 느낌인 경우가 많다.

개발자라 무언가 돌려봐야 좀 느낌이 오는데 인터넷 여기저기 다니며 소스를 찾아보고 돌려보고 하려면 정리가 안된 것도 너무 많고 막막한 느낌인데..

이 책에서는 활용 분야별로 무언가 흥미로운 것들을 돌려볼 수 있도록 소스 코드와 활용할 수 있는 서비스 등에 대해 친절한 설명을 해주어서 아직 깊이 알지 못하는 상태에서도 개발자로서 흥미를 가질 수 있게 해준다. 

개발을 하면서 무언가 처음 따라해보기를 하려하면 환경세팅을 하고 실행해보는데까지 문제가 발생하는 경우가 허다한데, 이 책에서는 혹시라도 문제가 발생할 수 있거나 당황할 수 있는 부분들에 대해서도 친절하게 설명해주고 있다.

그리고 이렇게 무언가 따라해보면서 돌려볼 수 있는 글의 경우 시간이 좀 지나면.. 뭔가 바뀌거나 해서 글을 보고 하다보면 막히는 경우가 많은데, 이 책의 경우 GitHub 에 소스 코드와 설명이 있으니 업데이트도 해주지 않을까 하는 기대가 있다.

코드들이 GitHub에 있긴 하지만.. 종이책은 모르겠지만 e-Book 에서라도 소스코드에 코드하이라이팅이 좀 되어 있었으면 좋지 않을까 하는 아쉬움이 있다. 어차피 책에서도 보라고 넣어 놓은 코드이니... 

아직은 초반에 강화학습에 대한 설명 부분을 읽으면 초보에게는 흡....하고 머리가 어지러워지는 느낌이 있지만.....뒤쪽에서 활용분야별로 무언가 실행해볼 수 있는 것들로 흥미가 생기가 또 어떤 것들을 더 살펴봐야할지에 대해서 잘 정리해주는 책인 것 같다.