확장메뉴
주요메뉴


소득공제
미리보기 공유하기

그로킹 심층 강화학습

: 이론과 실제 사이의 틈을 메우다

리뷰 총점9.2 리뷰 12건 | 판매지수 972
베스트
OS/데이터베이스 top100 4주
월간 채널예스 10호를 만나보세요!
월간 개발자 2022년 10월호
[IT 기획전] IT, 모두의 교양
박해선 저자의 머신러닝/딥러닝 패스
[단독]『혼자 공부하는 파이썬』 개정판 출간
내일은 개발자! 코딩테스트 대비 도서전
[단독] 에듀윌 IT 자격증 기획전 - 가장 빠른 합격출구 EXIT
소장가치 100% YES24 단독 판매 상품
YES24 트윈링 분철 : 인서트라벨/스티커 택1 증정
쇼핑혜택
현대카드
1 2 3 4 5

품목정보

품목정보
출간일 2021년 10월 10일
쪽수, 무게, 크기 500쪽 | 183*235*30mm
ISBN13 9791162244838
ISBN10 1162244836

이 상품의 태그

책소개 책소개 보이기/감추기

사람처럼 학습하는 인공지능, 심층 강화학습의 모든 것

사람은 시행착오를 통해 학습한다. 아픈 실패를 안겨준 상황을 피하고, 즐거웠던 성공의 경험을 되풀이하려 한다. 심층 강화학습도 마찬가지이다. 심층 강화학습은 딥러닝 기법을 활용해 환경의 반응을 기반으로 탐색하고 학습하는 머신러닝 시스템을 만드는 것을 목표로 한다.

저자는 심층 강화학습을 이해하는 밑바탕이 되어줄 강화학습에 관한 개념부터 알고리즘과 심층 강화학습의 기법, 최신 기술 동향까지 심층 강화학습에 대한 모든 걸 소개한다. 또한, 각 장마다 설명에 사용되는 예시와 삽화, 실습, 명확한 설명을 수록하여 머신러닝 접근법에 대해 독자들이 쉽게 살펴볼 수 있도록 해준다.

목차 목차 보이기/감추기

CHAPTER 1 심층 강화학습의 기초

1.1 심층 강화학습이란 무엇인가?
1.2 심층 강화학습의 과거와 현재 그리고 미래
1.3 심층 강화학습의 적절성
1.4 두 가지의 명확한 기대치 설정
1.5 요약

CHAPTER 2 강화학습의 수학적 기초

2.1 강화학습의 구성 요소
2.2 MDP: 환경의 엔진
2.3 요약

CHAPTER 3 순간 목표와 장기 목표 간의 균형

3.1 의사결정을 내리는 에이전트의 목적
3.2 이상적인 행동들에 대한 계획
3.3 요약

CHAPTER 4 정보의 수집과 사용 간의 균형

4.1 평가가능한 피드백 해석의 어려움
4.2 전략적인 탐색
4.3 요약

CHAPTER 5 에이전트의 행동 평가

5.1 정책들의 가치를 추정하는 학습
5.2 여러 단계를 통해서 추정하는 학습
5.3 요약

CHAPTER 6 에이전트의 행동 개선

6.1 강화학습 에이전트의 구조
6.2 행동에 대한 정책을 개선하기 위한 학습
6.3 학습에서 행동을 분리하기
6.4 요약

CHAPTER 7 조금 더 효율적인 방법으로 목표에 도달하기

7.1 강건한 목표를 활용한 정책 개선 학습
7.2 상호작용, 학습 그리고 계획하는 에이전트
7.3 요약

CHAPTER 8 가치 기반 심층 강화학습 개요

8.1 심층 강화학습 에이전트가 사용하는 피드백의 유형
8.2 강화학습을 위한 함수 근사화
8.3 NFQ: 가치 기반 심층 강화학습을 위한 첫 번째 시도
8.4 요약

CHAPTER 9 조금 더 안정적인 가치 기반 학습 방법들

9.1 DQN: 강화학습을 지도학습처럼 만들기
9.2 이중 DQN: 행동-가치 함수에 대한 과도추정 극복
9.3 요약

CHAPTER 10 샘플 효율적인 가치 기반 학습 방법들

10.1 듀얼링 DDQN: 강화학습에 초점을 맞춘 신경망 구조
10.2 PER: 유의미한 경험 재현에 대한 우선순위 부여
10.3 요약

CHAPTER 11 정책-경사법과 액터-크리틱 학습법

11.1 REINFORCE: 결과기반 정책 학습
11.2 VPG: 가치함수 학습하기
11.3 A3C: 병렬적 정책 갱신
11.4 GAE: 강력한 이점 추정
11.5 A2C: 동기화된 정책 갱신
11.6 요약

CHAPTER 12 발전된 액터-크리틱 학습법

12.1 DDPG: 결정적 정책에 대한 근사화
12.2 TD3: DDPG를 넘어선 성능을 보이는 개선점들
12.3 SAC: 기대 반환값과 엔트로피를 최대화하기
12.4 PPO: 최적화 과정을 제한하기
12.5 요약

CHAPTER 13 범용 인공지능을 향한 길

13.1 다룬 내용과 다루지 못한 내용
13.2 범용 인공지능에 대한 조금 더 발전된 개념들
13.3 이후의 내용들
13.4 요약

부록 A 구글 콜랩에서의 실습 환경

저자 소개 (2명)

만든이 코멘트 만든이 코멘트 보이기/감추기

안녕하세요. 이책의 역자 입니다.
2022-07-24
안녕하십니까 책의 번역을 진행했던 강찬석이라고 합니다. 책에 대한 코드는 https://goodboychan.github.io/book/에 Jupyter notebook 형태로 제공되고 있으며, colab과 연동하여 온라인으로도 실습해볼 수 있습니다. 책의 내용에 대해서 궁금하신 부분이나 잘못된 내용은 아래 메일로 전달주시면 검토후 답변드리겠습니다. 책에 관심을 가져주셔서 감사합니다.

출판사 리뷰 출판사 리뷰 보이기/감추기

수학 공식부터 코드 예제까지
모든 걸 갖춘 심층 강화학습 풀 코스


이 책은 강화학습과 심층 강화학습이 무엇인지 이해하고 실제로 적용해보고 싶은 사람들을 위해 기본 이론부터 실제 적용 방법까지 차례로 안내합니다. 자세한 예제와 적절한 비유가 섞인 개념 설명으로 시작해, 해당 개념을 수학적으로 확인할 수 있는 공식들과 이를 직접 만들어볼 수 있는 코드까지 제공하며 강화학습을 떠먹여줍니다. 눈과 손을 통해 들어오는 설명을 하나씩 차례대로 소화해나가다 보면 어렵게만 느껴졌던 심층 강화학습이 어느새 여러분의 것이 되어 있을 겁니다.

대상 독자

인공지능이란 연구 영역에 익숙하고 파이썬 코드를 볼 줄 알아야 합니다. 여기저기 있는 수학과 수많은 직관적인 설명을 이해하며 재미있고 자세한 예제를 바탕으로 학습하고자 하는 사람이라면 이 책을 재미있게 볼 수 있습니다. 인공지능에 대해 모르더라도, 파이썬 코드를 읽을 줄 알고 학습에 대한 흥미만 있다면 많은 내용을 얻어갈 수 있습니다. 기본적인 딥러닝 지식이 요구되긴 하지만, 이 책은 신경망과 역전파 방식 및 관련 기법을 간단하게 복습합니다. 결론적으로 이 책 한 권에서 원하는 지식을 모두 얻어갈 수 있으며 인공지능 에이전트를 가지고 놀고 싶은 사람이나 심층 강화학습을 깊게 이해하려는 사람에게 좋습니다.

주요 내용

● 심층 강화학습의 기본 원리
● 최신 심층 강화학습 기법
● 인간처럼 학습하는 심층 강화학습 에이전트 개발법
● 복잡한 상황에 적용할 수 있는 심층 강화학습 접근법

추천평 추천평 보이기/감추기

이 책은 강화학습을 처음 시작하는 입문자에게 충실한 길잡이 역할을 할 것이다.
- 최규빈 (전북대학교 통계학과 교수)

잘 짜인 책이다. 머신러닝과 딥러닝, 강화학습이 무엇인지 기술적이지만 명확한 언어로 설명한다.
- 찰스 이스벨 (조지아 공과대학 교수)

심층 강화학습을 다루는 상당히 실용적인 입문서. 추천합니다.
- 아이크 오콘코 (솔리드 스테이트 AI)

수학과 개념, 예시를 균형 있게 보여주며 심층 강화학습을 알려주는 좋은 입문서
- 알랭 쿠니오 (소프라 스테리아)

심층 강화학습에 관한 완벽한 개념서를 찾으시나요? 이 책이면 충분합니다.
- 스와미나탄 수브라마니안 (DXC 테크놀로지)

회원리뷰 (12건) 리뷰 총점9.2

혜택 및 유의사항?
그로킹 심층 강화학습 내용 평점5점   편집/디자인 평점5점 YES마니아 : 로얄 y*****e | 2022.08.30 | 추천0 | 댓글0 리뷰제목
이제 막 한걸음 내딛어본 것이다 보니 아직 깊이있는 통찰이나 내공이 있는 것은 아니지만 강화학습(Reinforcement Learning) 라는게 다소 오묘하다, 적어도 내겐... 우리가 흔히들 알고 있는 머신러닝, 딥러닝과는 또 다른 색다름도 있지만 조금은 더 접근하기 어려운 부분이 아닌가 싶다. 하긴 러닝 붙은 것 치고 뭔들 쉬울까... ^^   확률적인 요소가 중요한 역할을 하는 분야;
리뷰제목

이제 막 한걸음 내딛어본 것이다 보니 아직 깊이있는 통찰이나 내공이 있는 것은 아니지만 강화학습(Reinforcement Learning) 라는게 다소 오묘하다, 적어도 내겐... 우리가 흔히들 알고 있는 머신러닝, 딥러닝과는 또 다른 색다름도 있지만 조금은 더 접근하기 어려운 부분이 아닌가 싶다. 하긴 러닝 붙은 것 치고 뭔들 쉬울까... ^^

 

확률적인 요소가 중요한 역할을 하는 분야다 보니 수학적인 요소가 다른 것들에 비해 더 많이 나오기도 하지만 현실 세계를 강화학습에 필요한 환경, 상태, 액션 등으로 정의하고 학습을 시켜 목표하는 문제를 해결하는데 활용하는 과정 자체가 막연하기도 하고 막막하기도 한게 하닌가 싶다.

 

이제 막 강화학습을 통해 해보고자 하는 목표가 생긴 나로서 책 한권, 대학원 수업 한번 그리고 논문 몇 편 읽어본 나로서는 좀더 좋은 지침이 될 수 있는 무언가가 필요한데 "그로킹 심층 강화학습"이 딱 그런 책이 아닐까 싶다.

 

책의 모토가 마음에 든다, "이론과 실제 사이의 틈을 메우다"

 

강화학습도 초기에 비해 활발한 연구가 진행되다 보니 여러단계를 거쳐 딥(Deep)이라 단어가 붙기 시작했다. 최근 인공지능 붐업에 힘입어 강화학습도 많은 연구 성과와 기술의 진보가 이루어지고 있지만 다른 인공지능 분야에 비해 현실세계 문제를 의미있는 수준으로 해결하는 획기적인 맛은 아직 없지 않나 싶다, 뭔가 잠재력은 풍부해보이고 많은 시도가 되고 있긴 하지만... 아직은...

 

이 책은 이론과 현실 세계의 갭을 매꾸는데 조금이라도 일조하려는 의도로 쓰여진 책이다, 그렇다 보니 강화학습 입문서로 보기에는 난이도가 좀 있다. 기본적인 강화학습에 대한 이해가 어느정도 있는 사람이 볼만한 책...

 

그럼에도 불구하고 이 책은 내걸은 캐치프레이즈를 달성하기 위해 다양한 장점을 가지고 있다.

먼저 안그래도 어려운데 충분하고 자세한 그림들을 통해 독자의 이해를 높이려 상당히 애를 쓰는 책이다.

 

그리고 수식들에 대한 이해를 돕기위한 설명을 필요한 시점에 충분히 해주고 있는 책이다.

 

강화학습에서 필연적으로 알아야하는 상태나 정책 그리고 가치 등에 대해서도 필요하면 상세한 그림을 통해 충분한 이해를 할 수 있도록 많이 신경을 쓴 책이다.

 

강화학습을 통해 현실세계의 실질적인 문제에 접근하기 위해서는 이론과 현실 사이의 간극을 해소할 수 있는 지식과 통찰이 필요한데 이 책은 그러한 역량을 향상시키는데 충분히 의미있는 역할을 해줄만한 책이라 생각한다.

 

이제 나도 이 책을 통해서 스케쥴링과 관련한 분야의 연구를 수행할 수 있는 힌트도 얻고 힘도 받은것 같다.

 

※ 본 리뷰는 IT 현업개발자가, 한빛미디어 책을 제공받아 작성한 서평입니다.

댓글 0 이 리뷰가 도움이 되었나요? 공감 0
그로킹 심층 강화학습을 읽어 보고.... 내용 평점4점   편집/디자인 평점5점 블***7 | 2022.08.29 | 추천0 | 댓글0 리뷰제목
[ 그로킹 심층 강화학습 ]   이론과 실제 사이의 틈을 메우다.     미겔 모랄레스 지음.     강찬석 옮김.     우선 첫 느낌은 쉽지 않은 책입니다. 책 뒷 표지에 적혀있는 글을 보면, 사람은 시행착오를 통해 학습합니다. 아픈 실패를 안겨준 상황을 피하고, 즐거웠던 성공의 경험을 되풀이하려 합니다. 심층 강화학습도 마찬;
리뷰제목
[ 그로킹 심층 강화학습 ]

  이론과 실제 사이의 틈을 메우다.

    미겔 모랄레스 지음.

    강찬석 옮김.

 

 

우선 첫 느낌은 쉽지 않은 책입니다.

책 뒷 표지에 적혀있는 글을 보면,

사람은 시행착오를 통해 학습합니다. 아픈 실패를 안겨준 상황을 피하고, 즐거웠던 성공의 경험을 되풀이하려 합니다.
심층 강화학습도 마찬가지 입니다. 심층 강화학습의 목표는 환경의 반응을 기반으로 탐색하고 학습하는 머신러닝 시스템을 만드는 것입니다. 이 책은 예시와 삽화, 실습, 명확한 설명을 통해 강력한 머신러닝 접근법을 설명 합니다.
이해하는 속도에 맞춘 친절한 해설이 여러분의 머릿속에 심층 강화학습의 기초부터 원리, 복잡한 상황에 적용하는 방법까지 차근차근 넣어줄 겁니다.

 

사람 마다 이해하는 속도가 다르기에 맞지는 않지만, 기본 적으로 책에서 제시하는 "대상 독자"에  "인공지능이란 연구 영역에 익숙하고 파이썬 코드를 볼 줄 알아야 합니다."  라고 표기한 것과 같이 기반 지식이 있으면 쉽게 접근 할 수 있는 책입니다.

 

대상 독자

 

기반 지식이 없는 상태에서는 접근이 어렵긴 하지만, 책 구성에서 필요한 부분들에 대한 기초 부터 설명해 주고 있고 그림으로 많은 것을 설명 하고 있으며, 수식 들에 대해서도 상세하게 표기 하고 있기에 학습 속도는 느리겠지만 조금 천천히 학습한다면 충분히 인공 지능에서의 심층 강화학습에 대한 부분에 대해서 많은 것을 아는 기회가 될 수 있도록 도와주고 있습니다.

 

아래 그림 처럼 많은 부분을 그림 또는 도식화 하여 보여 주고 있기에 설명에 대한 이해도를 도화 주고 있습니다.

 

이 책은 많은 예제들을 통하여 직접 실험 하며 이해도를 높일 수 있도록 구성되어 있습니다.
파이썬에 대해서 기본 문법에 대해서만 알고 있으면 충분히 코드를 이해하는데 무리는 없을 것입니다.
그리고 코드에는 중요한 부분에 대해서는 별도 설명이 추가되어 있습니다.
그리고 설명한 내용들에 대해서 "수식으로 이해하기" 라는 블럭으로 수학 적으로도 이해할 수 있도록 제공 하고 있습니다.
수학 표기에도 설명이 필요한 부분들에 대해 별도 설명들이 표기되어 있습니다.

각 장의 마지막에는 해당 장에서 학습하고자 했던것에 대한 설명과 전체 내용에 대해 간략하게 정리해 주고 있습니다. 한번 더 학습한 내용들에 대해 기억을 상기 시켜 줍니다.

요약 정리한 장 마지막에는 "트위터에서 만나요" 라는 작은 코너를 두어 해시 테그 형태로 찾아서 배운 것들에 대해 자신이 학습한 결과를 공유도 하고 다른 학습한 사람들이 공유한 결과들을 볼수 있도록 지원하고 있습니다.
단지, 트위터를 통하여 태그하면 저자를 통하여 리트윗 되는 형태로 공유되는 시스템 이기에 활용도는 떨어질 것 같습니다.

책에서 설명 중간중간에 좀 더 상세한 설명이나 당장 알지 않아도 되지만 알면 도움 되는 내용에 대해 "NOTE" 라는 블럭을 통하여 제공 하고 있습니다.

 

* 결론

서평 처음에 얘기한 것과 같이 기반 지식이 없는 상태에서는 쉬운 책은 아닙니다.

저자도 얘기하는 부분이 독자들이 머신러닝에 대해 이해가 있다는 가정하에 설명 하고 있다고 얘기 하고 있으며,  이 책에서 다루는 내용 외에 머신러닝이 어떤 의미로 작용하는지 알아야 한다고 말하고 있습니다.

머신러닝, 딥러닝에 대한 기초 지식은 구글에서 찾아서 어떠한 것이다 정도에서만 알아도 되고 아니면 학습중 설명되지 않은 용어들에 대해서 구글 통하여 필요한 부분들을 익혀 가면 충분히 학습할 수 있으나,  파이썬 코드와 수학 지식에 대한 부분은 파이썬 문법과 수학 기호들에 대해 익숙해 져야 책을 학습하는데 도움 됩니다.

쉽지 않은 책이지만 정독 하면서 학습하면 충분히 기초를 다져 가는데는 도움 되는 책입니다.

출처: https://bluemir7.tistory.com/149?category=1054380

댓글 0 이 리뷰가 도움이 되었나요? 공감 0
강화학습이 궁금하다면?! 내용 평점5점   편집/디자인 평점5점 둥*달 | 2022.08.28 | 추천0 | 댓글0 리뷰제목
"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다." 대상 독자 신경망과 역전파 방식에 대한 기본적인 설명이 있어 기본적인 딥러닝 지식부터 궁금한 분들에게 좋은 책입니다. 강화학습의 수학적 기초와 강화학습의 기본적인 정의와 특징에 대해서 설명해주기 때문에 강화학습을 처음 접하는 분들이나 관련해서 면접을 준비하고 있는 취업 준비생분들에;
리뷰제목
"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."


대상 독자

신경망과 역전파 방식에 대한 기본적인 설명이 있어 기본적인 딥러닝 지식부터 궁금한 분들에게 좋은 책입니다. 강화학습의 수학적 기초와 강화학습의 기본적인 정의와 특징에 대해서 설명해주기 때문에 강화학습을 처음 접하는 분들이나 관련해서 면접을 준비하고 있는 취업 준비생분들에게도 좋은 책입니다.

 

좋았던 점

책을 읽기 전 지식 수준은 딥러닝 중에서도 비전이나 자연어처리에 대한 모델들에 대해 정도 알고 있는 정도였습니다. 강화학습은 처음 접하는 분야였지만, 책의 설명에서 처음에는 기본적인 강화학습 방법에 대해 설명해주고 조금씩 개선된 강화학습 방법에 대해 이어서 설명해주다보니 응용 개념에 대한 이해가 편했습니다.  

 

[중략] 

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."


대상 독자

신경망과 역전파 방식에 대한 기본적인 설명이 있어 기본적인 딥러닝 지식부터 궁금한 분들에게 좋은 책입니다. 강화학습의 수학적 기초와 강화학습의 기본적인 정의와 특징에 대해서 설명해주기 때문에 강화학습을 처음 접하는 분들이나 관련해서 면접을 준비하고 있는 취업 준비생분들에게도 좋은 책입니다.

 

좋았던 점

책을 읽기 전 지식 수준은 딥러닝 중에서도 비전이나 자연어처리에 대한 모델들에 대해 정도 알고 있는 정도였습니다. 강화학습은 처음 접하는 분야였지만, 책의 설명에서 처음에는 기본적인 강화학습 방법에 대해 설명해주고 조금씩 개선된 강화학습 방법에 대해 이어서 설명해주다보니 응용 개념에 대한 이해가 편했습니다.  

 

[중략] 

 

출처: https://vg-rlo.tistory.com/303 [vg-rlo:티스토리]

댓글 0 이 리뷰가 도움이 되었나요? 공감 0

한줄평 (1건) 한줄평 총점 10.0

혜택 및 유의사항 ?
구매 평점5점
공부에 많은 도움이 될 것 같습니다.
이 한줄평이 도움이 되었나요? 공감 0
YES마니아 : 골드 l*******7 | 2022.01.21
  •  쿠폰은 결제 시 적용해 주세요.
1   31,500
뒤로 앞으로 맨위로 aniAlarm