확장메뉴
주요메뉴


소득공제
미리보기 공유하기

강화학습 첫걸음

: 텐서플로로 살펴보는 Q 러닝, MDP, DQN, A3C 강화학습 알고리즘

도서 제본방식 안내이동
리뷰 총점8.8 리뷰 6건 | 판매지수 792
베스트
IT 모바일 top100 11주
정가
18,000
판매가
16,200 (10% 할인)
YES포인트
소중한 당신에게 5월의 선물 - 산리오 3단 우산/디즈니 우산 파우치/간식 접시 머그/하트 이중 머그컵
월간 개발자 2022년 5월호
내일은 개발자! 코딩테스트 대비 도서전
5월 전사
5월 쇼핑혜택
1 2 3 4 5

품목정보

품목정보
출간일 2017년 12월 22일
쪽수, 무게, 크기 180쪽 | 332g | 153*223*20mm
ISBN13 9791162240298
ISBN10 1162240296

책소개 책소개 보이기/감추기

텐서플로 코드로 입문하는 강화학습의 세계

알파고의 기반인 강화학습은 게임 AI나 자율주행 등 업계 활용성이 높아 인공지능의 미래로 단연 주목받고 있다. 이 책은 복잡한 이론을 두루뭉술하게 설명하는 대신, 예제 코드를 직접 돌려보며 강화학습 알고리즘을 익히게 도와준다. 기본적인 텐서플로 사용법은 알지만 강화학습은 처음인 개발자를 대상으로, 주요 강화학습 알고리즘이 어떤 원리이며 어떻게 구현할 수 있는지 알려준다. 오픈AI 짐의 카트-폴, 얼어붙은 강 같은 고전 문제부터 [둠] 같은 3D 게임까지 이르기까지 흥미로운 예제를 통해 Q 러닝, MDP, DQN, A3C 등 주요 강화학습 알고리즘을 알차게 배울 수 있다.

목차 목차 보이기/감추기

PART I 주요 알고리즘 및 구현

CHAPTER 1 강화학습 소개

CHAPTER 2 밴딧 문제
2.1 정책 경사
2.2 멀티암드 밴딧의 구현

CHAPTER 3 콘텍스트 밴딧
3.1 콘텍스트 밴딧 구현

CHAPTER 4 마르코프 결정 과정
4.1 기본적인 정책 경사 에이전트 구현

CHAPTER 5 Q 러닝
5.1 테이블 환경에 대한 테이블식 접근법
5.2 신경망을 통한 Q 러닝

CHAPTER 6 딥 Q 네트워크
6.1 개선 1: 합성곱 계층
6.2 개선 2: 경험 리플레이
6.3 개선 3: 별도의 타깃 네트워크
6.4 DQN을 넘어서
6.5 더블 DQN
6.6 듀얼링 DQN
6.7 모든 것을 조합하기
6.8 개선된 딥 Q 네트워크 구현

CHAPTER 7 부분관찰성과 순환 신경망
7.1 부분관찰성 문제
7.2 제한되고 변화하는 세계 이해하기
7.3 순환 신경망
7.4 텐서플로 구현을 위한 변경점
7.5 제한된 그리드 세계
7.6 DRQN 구현

CHAPTER 8 비동기적 어드밴티지 액터-크리틱
8.1 A3C의 세 가지 A
8.2 A3C 구현
8.3 [둠] 게임 플레이하기

PART II 심화 주제

CHAPTER 9 에이전트의 생각과 액션 시각화
9.1 컨트롤 센터의 인터페이스
9.2 에이전트의 머릿속 들여다보기
9.3 강화학습 컨트롤 센터 이용

CHAPTER 10 환경 모델 활용하기
10.1 모델 기반의 강화학습 구현

CHAPTER 11 탐험을 위한 액션 선택 전략
11.1 탐험은 왜 하는 것인가요?
11.2 그리디 접근법
11.3 랜덤 접근법
11.4 엡실론-그리디 접근법
11.5 볼츠만 접근법
11.6 베이지언 접근법(드롭아웃)
11.7 각 전략의 성능 비교 및 구현
11.8 고급 기법

CHAPTER 12 정책 학습을 위한 정책 학습
12.1 메타 에이전트 만들기
12.2 메타 실험
12.3 마치며

저자 소개 (2명)

출판사 리뷰 출판사 리뷰 보이기/감추기

인공지능의 미래로 주목받는 강화학습 쉽고 빠르게 코드로 익히기

하루가 멀다고 새로운 기법이 나오는 딥러닝 분야에서도 단연 주목받는 기법이 강화학습입니다. 알파고의 기반이기도 한 강화학습은 사람이 자전거 타는 법을 배울 때처럼 시행착오를 겪으며 더 나은 보상을 받는 쪽으로 행동 지침을 바로잡는 학습법입니다. 게임 AI나 자율주행 등 업계 활용성이 높아 인공지능의 미래로 더욱 주목받고 있습니다.

머신러닝, 딥러닝 커리큘럼을 체계적으로 익히는 것도 좋은 학습법이지만, 당면 과제 해결을 위해 강화학습부터 공부하는 수요도 늘고 있습니다. 이 책은 개발자를 위해 텐서플로 코드 중심으로 강화학습을 설명하는 가이드북입니다. 오픈AI 짐의 환경과 [둠] 같은 게임을 예로 들어 밴딧, MDP, Q 러닝, 더블/듀얼링 DQN, DRQN, A3C 등 주요 강화학습 알고리즘을 흥미롭게 배울 수 있습니다.

책 후반부에서는 짧게나마 강화학습과 관련된 몇 가지 심화 주제를 다룹니다. 에이전트 학습 과정을 시각화해보고, 환경 모델을 활용하는 방법을 살펴보며, 엡실론-그리디, 볼츠만, 베이지언 등의 여러 액션 선택 전략을 비교해봅니다. 학습하는 정책 자체를 학습하는 메타 강화학습의 개념도 알아봅니다.

이론을 어설프게 설명하려 들지 않고, 파이썬과 텐서플로 사용법도 다루지 않습니다. 고전적인 문제부터 최근 발표된 연구에 이르기까지, 주요 강화학습 알고리즘의 원리를 이해하고 구현하는 데 집중한 책입니다.

추천평 추천평 보이기/감추기

포괄적이면서도 이해하기 쉽게 쓰인 멋진 강화학습 가이드북입니다. 책의 예제를 수정해서 실험을 하며 주말 내내 즐거운 시간을 보냈습니다. 코드를 보며 텐서플로의 지연 실행 같은 쇼킹한 개념도 배울 수 있어 더 좋았습니다.
비탈리 유레프(Vitalii Iurev) (소프트웨어 엔지니어)

회원리뷰 (6건) 리뷰 총점8.8

혜택 및 유의사항?
구매 강화학습 첫걸음 내용 평점5점   편집/디자인 평점5점 YES마니아 : 로얄 p******1 | 2020.06.18 | 추천0 | 댓글0 리뷰제목
인공지능의 학습법은 지도학습, 비지도학습, 강화학습 등으로 구분되는데 강화학습은 게임, 자율주행 그리고 우리에게 이제는 너무 잘 알려진 알파고 등에 적용되어 큰 관심을 받고 있다. 이 책은 복잡한 이론 대신 명확한 개념을 설명하고 있으며 다양한 예제 코드를 통해 강화학습 알고리즘을 익힐 수 있게 구성되어 있다. 기본적인 텐서플로 사용법은 사전에 알아야 한다.;
리뷰제목

인공지능의 학습법은 지도학습, 비지도학습, 강화학습 등으로 구분되는데 강화학습은 게임, 자율주행 그리고 우리에게 이제는 너무 잘 알려진 알파고 등에 적용되어 큰 관심을 받고 있다. 이 책은 복잡한 이론 대신 명확한 개념을 설명하고 있으며 다양한 예제 코드를 통해 강화학습 알고리즘을 익힐 수 있게 구성되어 있다. 기본적인 텐서플로 사용법은 사전에 알아야 한다.

댓글 0 이 리뷰가 도움이 되었나요? 공감 0
초심자를 위한 강화학습 내용 평점4점   편집/디자인 평점4점 YES마니아 : 플래티넘 w********7 | 2018.03.10 | 추천0 | 댓글0 리뷰제목
한빛미디어의 인공지능 시리즈 중 강화학습에 대해 설명한 책이다.기존과 비교해 봤을 때 "신경망 첫걸음", "처음 배우는 인공지능" 같은 경우는 초심자들이 인공지능을 시작할 때 접근하기 좋은 책이라면, "강화학습 첫걸음" 이라는 책은 인공지능 초심자보다는 약간이라도 딥러닝을 접한 사람 그리고 기초를 넘어 강화학습을 배우고 싶은 사람들에게 보다 추천되는 책이다.(;
리뷰제목

한빛미디어의 인공지능 시리즈 중 강화학습에 대해 설명한 책이다.

기존과 비교해 봤을 때 "신경망 첫걸음", "처음 배우는 인공지능" 같은 경우는 초심자들이 인공지능을 시작할 때 접근하기 좋은 책이라면, "강화학습 첫걸음" 이라는 책은 인공지능 초심자보다는 약간이라도 딥러닝을 접한 사람 그리고 기초를 넘어 강화학습을 배우고 싶은 사람들에게 보다 추천되는 책이다.

(실제로 해당 책에서는 Tensorflow를 통해 구현하기 때문에, Tensorflow에 대한 지식을 가지고 있는 사람은 그렇지 않은 사람들 보다 접근하기 쉽다.)


"강화학습 첫걸음" 책은 강화학습의 기본 원리부터 심화주제까지 다룬다.

기본 원리를 통해 강화학습의 동작 원리에 대해 파악할 수 있고, 심화 주제를 통해 최근 강화학습의 동향 또한 파악 할 수 있다.


하지만 책을 정독했다고 해서 강화학습을 알았다고는 할 순 없다. 이 책은 책의 양에서도 느낄 수 있듯이 모든 부분이 자세히 나온 것이 아니라, 비기너가 강화학습을 보다 쉽게 접근하기 위한 개념을 잡는 책으로 기초 도서이다.  (그렇기에 책의 내용이 쉽게 적혀있다.)

때문에 깊이 있는 공부를 위해서는 논문, 인터넷 강의 등 다양한 자료를 접해야 한다. 

댓글 0 이 리뷰가 도움이 되었나요? 공감 0
[리뷰] 강화학습 첫걸음 내용 평점5점   편집/디자인 평점5점 노*론 | 2018.02.20 | 추천0 | 댓글0 리뷰제목
강화학습 첫걸음 도서 리뷰한빛미디어의 컴퓨터서적 중 첫걸음 시리즈가 있다. 첫걸음 시리즈는 다른 도서들에 비해 얇아 부담없이 읽을 수 있다. 강화학습 첫걸음 도서를 받아보 마찬가지로 만족스러운 내용이 담겨있었다. [##_1N|cfile1.uf@998F564F5A8B7A201CC6BB.jpg|width="703" height="936" filename="KakaoTalk_20180220_100751214.jpg" filemime="image/jpe;
리뷰제목

강화학습 첫걸음 도서 리뷰



한빛미디어의 컴퓨터서적 중 첫걸음 시리즈가 있다.

첫걸음 시리즈는 다른 도서들에 비해 얇아 부담없이 읽을 수 있다.

강화학습 첫걸음 도서를 받아보 마찬가지로 만족스러운 내용이 담겨있었다.




[##_1N|cfile1.uf@998F564F5A8B7A201CC6BB.jpg|width="703" height="936" filename="KakaoTalk_20180220_100751214.jpg" filemime="image/jpeg" style="text-align: left;" original="no"|_##]





목차의 구성은 아래와 같다.



PART I 주요 알고리즘 및 구현

 

CHAPTER 1 강화학습 소개

 

CHAPTER 2 밴딧 문제 

2.1 정책 경사

2.2 멀티암드 밴딧의 구현

 

CHAPTER 3 콘텍스트 밴딧

3.1 콘텍스트 밴딧 구현

 

CHAPTER 4 마르코프 결정 과정

4.1 기본적인 정책 경사 에이전트 구현

 

CHAPTER 5 Q 러닝

5.1 테이블 환경에 대한 테이블식 접근법

5.2 신경망을 통한 Q 러닝

 

CHAPTER 6 딥 Q 네트워크

6.1 개선 1: 합성곱 계층

6.2 개선 2: 경험 리플레이

6.3 개선 3: 별도의 타깃 네트워크

6.4 DQN을 넘어서

6.5 더블 DQN

6.6 듀얼링 DQN

6.7 모든 것을 조합하기

6.8 개선된 딥 Q 네트워크 구현

 

CHAPTER 7 부분관찰성과 순환 신경망

7.1 부분관찰성 문제

7.2 제한되고 변화하는 세계 이해하기

7.3 순환 신경망

7.4 텐서플로 구현을 위한 변경점

7.5 제한된 그리드 세계

7.6 DRQN 구현

 

CHAPTER 8 비동기적 어드밴티지 액터-크리틱

8.1 A3C의 세 가지 A

8.2 A3C 구현

8.3 <둠> 게임 플레이하기

 

PART II 심화 주제

 

CHAPTER 9 에이전트의 생각과 액션 시각화

9.1 컨트롤 센터의 인터페이스

9.2 에이전트의 머릿속 들여다보기

9.3 강화학습 컨트롤 센터 이용

 

CHAPTER 10 환경 모델 활용하기

10.1 모델 기반의 강화학습 구현

 

CHAPTER 11 탐험을 위한 액션 선택 전략

11.1 탐험은 왜 하는 것인가요?

11.2 그리디 접근법

11.3 랜덤 접근법

11.4 엡실론-그리디 접근법

11.5 볼츠만 접근법

11.6 베이지언 접근법(드롭아웃)

11.7 각 전략의 성능 비교 및 구현

11.8 고급 기법

 

CHAPTER 12 정책 학습을 위한 정책 학습

12.1 메타 에이전트 만들기

12.2 메타 실험

12.3 마치며




신경망이 아닌 강화학습 에 맞춰진 책이기 때문에 머신러닝, 딥러닝을 처음 입문하는 사람들에게는 적합하지 않은 책이다.

머신러닝 공부를 생 처음 시작하는 입문자에게는 [신경망 첫걸음, 딥러닝 첫걸음, 밑바닥부터 시작하는 딥러닝] 이 책들을 추천하고 싶다.

딥러닝의 이론과 수식을 이해할 수 있는 배경지식이 있어야 읽기에 수월할 것이다.


위의 조건을 대략 충족하는 사람에겐 python코드가 자세히 나와있다는 점과 cart-pole,Frozen lake,Doom,Grid world 와 같은 openAI GYM의 예제를 풀어보는 코드가 개념을 이해하는데 큰 도움을 준다.


이 책을 읽으면서 김성훈 교수님의 모두를 위한 RL강좌 을 참고하면 부족한 부분을 채워넣기에 충분할 것이다






댓글 0 이 리뷰가 도움이 되었나요? 공감 0

한줄평 (4건) 한줄평 총점 6.6

혜택 및 유의사항 ?
구매 평점1점
내용은 부실, 코드는 잔뜩, 설명없고 사면 딱 후회하기 좋은 책, 반품할까 고려중
이 한줄평이 도움이 되었나요? 공감 0
YES마니아 : 로얄 j**o | 2020.06.07
구매 평점4점
텐서플로 코드로 강화학습을 입문하기 좋은 책...
이 한줄평이 도움이 되었나요? 공감 0
YES마니아 : 로얄 p******1 | 2020.03.28
구매 평점3점
어느정도 배경지식을 갖추고 봐야함.
이 한줄평이 도움이 되었나요? 공감 0
y*****9 | 2018.04.23
  •  쿠폰은 결제 시 적용해 주세요.
1   16,200
뒤로 앞으로 맨위로 aniAlarm