카트

이미지 검색을 사용해 보세요

검색창 이전화면 이전화면

최근 검색어: 전체삭제

인기 검색어

닫기

미리보기 사이즈비교 공유하기

소득공제 청년패스

강화학습 시리즈

강화학습 기본 완성과 PyTorch

추상목 저

자유아카데미 2025.12.15.

회원리뷰 첫번째 리뷰어가 되어주세요 판매지수 60

가격: 23,000원

23,000

YES포인트?: 0원

5만원 이상 구매 시 2천원 추가 적립

앱 다운 시 1천원 상품권

결제혜택: 카드/간편결제 혜택을 확인하세요

분철서비스 시작되면 알려드립니다.알림신청

이미 소장하고 있다면 판매해 보세요.

예스24에 팔기 바이백 신청 불가 내 가게에서 팔기

국내배송만 가능
문화비소득공제 가능

시리즈 태그 업체 공지사항 중고도서 소개 구성 소개 특별 구성 MD 한마디 카드뉴스 상세 이미지 책소개 관련 동영상 목차 저자 소개 관련분류 품목정보 만든이 코멘트 예스24 리뷰 책 속으로 줄거리 캐스팅 관련 자료 부가 영상 출판사 리뷰 전문가 리뷰 추천평

펼치기/닫기

강화학습 시리즈

강화학습 기본 완성과 PyTorch

23,000원

강화학습 기본 완성과 PyTorch 이동
강화학습 기본 다지기와 PyTorch

22,000원

강화학습 기본 다지기와 PyTorch 이동
강화학습 기본과 PyTorch

22,000원

강화학습 기본과 PyTorch 이동

이 상품의 태그

#청년패스

책소개

강화학습 알고리즘을 코드 구현 중심으로 설명하고 실제 학습 가능한 코드를 제공하는 서적은 드물다. 이러한 어려움을 해소하고자 2023년에 첫 번째 책 『강화학습 기본과 PyTorch』를 출간하였고, 이어 2024년에는 두 번째 책 『강화학습 기본 다지기와 PyTorch』를 출판했다. 그리고 이번에는 세 번째 책 『강화학습 기본 완성과 PyTorch』를 독자 여러분께 선보이게 되었다. 첫 번째 책에서는 환경과 에이전트의 예제를 시작으로 Bellman 방정식을 소개하고, 전통적인 가치 기반(value-based) 강화학습인 DQN(Deep Q Network), Double DQN, Dueling DQN, PER(Prioritized Experience Replay) 등을 다루었다. 두 번째 책에서는 N-step DQN, NoisyNet, Categorical DQN(C51), QRDQN(Quantile Regression DQN), IQN(Implicit Quantile Network), FQF(Fully parameterized Quantile Function), Rainbow와 같은 다양한 알고리즘을 소개하며, 가치 기반 강화학습의 폭넓은 기법들을 설명하였다. 세 번째 책인 이번 시리즈에서는 정책 기반(policy based) 강화학습을 본격적으로 다룬다. REINFORCE-MCPG(Monte Carlo Policy Gradient), REINFORCE- Baseline, A2C(Advantage Actor Critic), A3C(Asynchronous Advantage Actor Critic), DDPG(Deep Deterministic Policy Gradient), TD3(Twin Delayed Deep Deterministic Policy Gradient), TRPO(Trust Region Policy Optimization), PPO(Proximal Policy Optimization), SAC(Soft Actor Critic) 알고리즘을 깊이 있게 다루고 있다. 이 책은 다음의 세 가지 원칙을 바탕으로 작성되었다. 1. 구현된 코드가 실제로 학습 가능해야 한다. 2. 알고리즘 설명은 코드 구현을 중심으로 한다. 3. 이해를 돕기 이해 가능한 한 그림을 적극적으로 활용한다. 알고리즘이 구현된 코드로 학습이 되지 않으면, 그 알고리즘은 실질적으로 사용할 수 없으므로 첫 번째 원칙이 필요하다. 또한, 알고리즘의 이해는 코드 구현으로 완성되므로, 두 번째 원칙에 따라 코드 구현을 중심에 두고 알고리즘을 설명하였다. 마지막으로, 다양한 그림을 사용하여 독자가 알고리즘을 직관적으로 이해할 수 있도록 했다. 이 책에서 다루는 내용은 아래 분류 그림과 같이 점선에 있는 알고리즘으로 Model-Free RL의 Policy Optimization과 Q-Learning에 속한다. 위 그림에서 보듯이 점선이 있는 마지막 일곱 개의 강화학습 기법은 모두 정책 신경망을 포함하고 있으므로 Policy Optimization에 속한다. 그리고 REINFORCE(-MCPG, -Baseline), A2C/A3C, TRPO, PPO에는 행동-가치 신경망이 없으므로 Q-Learning이 아니지만, DDPG, TD3, SAC에는 행동-가치 신경망도 있으므로 Q-Learning으로 분류했다. 참고로 REINFORCE-Baseline, A2C/A3C, TRPO, PPO에는 상태-가치 신경망이 있으므로 V-Learning 범주에 속한다고 볼 수 있다. 이 책에서 다루는 알고리즘의 수식은 각 장의 부록에 정리하였다. 특히, TRPO와 SAC에는 수식이 자주 등장하므로 아래와 같은 과정으로 기술되었다고 생각하면 도움이 된다. 이론(Theory) ⇒ 이론의 근사화(Approximation of Theory) ⇒ 코딩(Coding) 여기서 이론(Theory) 단계에서는 코딩과 무관하게 진행되어 최종적인 수식을 도출한다. 이후 이 수식을 실제 코드로 옮길 수 있도록 단순화·근사화하여 근사 수식(Approximation of Theory)을 얻는다. 마지막으로 이 근사 수식을 바탕으로 알고리즘을 코딩(Coding)한다. 비록 근사 수식을 사용하지만, 실행 결과는 원래 이론에서 기대하는 내용과 잘 부합함을 확인할 수 있다. 참고로, 이 책의 코드는 Colab에서 실행했고 주요 패키지와 버전은 다음과 같다: matplotlib(3.10.0), moviepy(1.0.3), numpy(2.0.2), Pillow(11.3.0), torch(22.8.0+cu126), gym(0.25.2), gymnasium(1.2.0) 출간 후 나올 수 있는 수정사항이나 참고자료 등은 자유아카데미 홈페이지 자료실(www.freeaca.com)을 통해 게시할 것이니 참고하기를 바란다. 이번 책은 『강화학습 시리즈 1(2023년)』과 『강화학습 시리즈 2(2024년)』에 이어지는 세 번째 책(시리즈 3)으로, 정책 기반(policy-based)의 강화학습을 집중적으로 다루고 있다. 이에 본서를 끝으로 Model-Free RL에 대한 소개를 마무리하고자 한다.

책소개 더보기펼치기

제1장 REINFORCE-Monte Carlo Policy Gradient
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의
4．학습데이터 정의
5．손실 정의
6．파라미터 업데이트 함수
7．Main
8．코드 설명
9．전체 코드
10．부록

제2장 REINFORCE-Baseline
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의
4．학습데이터 정의
5．손실 정의
6．파라미터 업데이트 함수
7．Main
8．코드 설명
9．전체 코드
10．부록

제3장 Advantage Actor Critic(A2C)
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의
4．학습데이터 정의
5．손실 정의
6．Main
7．전체 코드
8．부록

제4장 Asynchronous Advantage Actor Critic(A3C)
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의
4．학습데이터 정의
5．손실 정의
6．train 함수
7．Main
8．코드 설명
9．전체 코드
10．부록

제5장 Deep Deterministic Policy Gradient(DDPG)
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의와 노이즈 추가
4．학습데이터(replay memory) 정의
5．손실 정의
6．Main
7．코드 설명
8．전체 코드
9．부록

제6장 Twin Delayed Deep Deterministic Policy Gradient(TD3)
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의와 노이즈 추가
4．학습데이터(replay memory) 정의
5．손실 정의
6．Main
7．전체 코드
8．부록

제7장 Trust Region Policy Optimization(TRPO)
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의
4．학습데이터(replay memory) 정의
5．Critic 손실 정의와 actor 파라미터 업데이트 공식
6．Main
7．코드 설명
8．전체 코드
9．부록

제8장 Proximal Policy Optimization(PPO)
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태를 입력하면 행동 출력) 정의
4．학습데이터(replay memory) 정의
5．손실 정의
6．Main
7．코드 설명
8．전체 코드
9．부록

제9장 Soft Actor Critic(SAC)
1．용어 설명과 구성 요소
2．신경망 구조
3．정책(상태가 입력되면 행동 출력) 정의
4．학습데이터(replay memory) 정의
5．손실 정의
6．Main(train 함수)
7．전체 코드
8．부록

목차 더보기펼치기

저자 소개 1

저추상목

관심작가 알림신청

서울대에서 이학사, 이학석사, 이학박사를 취득한 후, 울산대학교 수학과에 부임하여 현재까지 교수로 재임하면서 파이썬 프로그래밍, 수리 통계학, 수리인공지능(빅테이터 분석, 순방향신경망, 언어 처리에 사용하는 순환신경망, 이미지 처리에 사용하는 합성곱 신경망) 강의를 하고 있다.

추상목의 다른 상품