|
#곰탱이 #독서 #독후감 #강화학습이론&실습 #황현석 #비제이퍼블릭 #YES24리뷰어클럽
“강화학습이론&실습”, 황현석 글, 비제이퍼블릭, 2023
강화학습이란 무엇일까요 머신러닝 분야에 있어서 반복학습을 통하여 패턴을 얻는 알고리즘이라고 할 수가 있다. 좀 더 상세하게 정리하여 본다면 “문제를 풀었을 때 채점을 해줌으로써 높은 점수를 얻는 답을 찾는 방식을 알아내도록 하는 것과 유사하다. 문제를 잘 해결하는 행동을 했을 때 보상을 해준다는 점에서, 행동주의 심리학의 용어를 따라 강화 학습(reinforcement learning)이라고 부른다”.
이러한 관점에서 이 책은 교과서라기 보다는 매뉴얼이란 개념으로 생각이 든다면 어떨까 저자는 자연과학을 기반으로 대학원에서 계산과학을 공부한 공학도라고 본다면 어떨까. 자연과학 전공이란 수학을 기반으로 하는 학문이고 계산과학이란 역시 수학을 기반으로 알고리즘을 개발하는 분야로 본다면 저자의 수학적 배경은 매우 흥미롭게 여겨진다.
전공 분야의 책에는 두 가지 형태로 나누어지는데 하나는 교과서 그리고 또 하나는 매뉴얼이다. 교과서는 말 그대로 교재가 되어 처음부터 하나 하나 이론들을 설명하면서 강의에 적합한 책이라면 매뉴얼은 사전과 같이 필요한 부문들이 정리되어 그야말로 참고서라고 보면 된다. 그렇다면 지금의 “강화학습 이론&실습”은 그야말로 매뉴얼의 성격이 강하다고 본다.
먼저 강화학습에 필요한 프로그램을 설치하도록 안내한다. 두 번째로 강화학습에 필요한 수학적 배경들에 대하여 설명하며 실습을 겸한다. 바로 이 점이 매뉴얼으로서의 성향을 강화하고 있는 것이다. 저자는 자신의 경험을 중심으로 알고리즘을 개발함에 자신이 부족한 점 그리고 필요한 점들을 하나 하나 찾아 나가는 독학의 방식으로 지금의 개발자의 자리를 찾아왔다고 본다. 바로 이러한 배경으로 이 책은 정리되어 가고 있다.
강화학습에 필요한 가장 핵심적인 수학적 배경들을 잘 정리하였으면 관련 알고리즘과 실습 또한 겸비하여 놓았다:
1. 최적화 함수 2. 마르코프 의사결정 3. 몬테카를로 추정 알고리즘 4. 인공신경망 이러한 과정은 전문가로 이끌어 가는 기본적인 배경지식을 보유하게 된다.
다만 꾸준하게 기초적인 수학적 배경 내용 하나 하나에 관심을 가지고 실습을 충실하게 겸행 한다면 좋은 알고리즘 개발자로 성장 할 것이라 느낀다. 알고리즘 개발자라면 책상 위에 항상 손이 다을 수 있는 곳에 놓아도 좋을 매뉴얼이라고 추천하고 싶다.
“YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다' |
|
『강화학습 이론&실습』 YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다.
최근 몇 년간 IT업계, 특히 인공지능에 관한 큰 이슈 중 하나가 ChatGPT라는 것에는 누구도 부인하지 않을 것이다. 이 ChatGPT가 바로 ‘강화학습’을 활용하였다. 강화학습은 인공지능 알고리즘 중 하나로, 이 책은 ‘강화학습’을 소개하고 있다.
‘딥 러닝’이라는 용어는 많이 들어봤지만, 사실 ‘강화학습’이라는 용어는 낯설다고 느끼는 분들이 많을 것 같다. 필자는 솔직히 ‘강화학습 이론&실습’이라는 제목을 처음 보았을 때, 심리학 분야 서적라 착각했을 정도로 강화학습에 대해 무지하였다.
따라서 딥 러닝 알고리즘과 강화 학습에 대한 차이에 대해 명확히 알지 못했는데, 필자와 같은 입문자들을 위해 책 서문에서부터 먼저 이 두 가지의 차이점을 설명하고 있다. 책의 문장을 통해 강화 학습을 설명하자면, ‘데이터가 미리 주어진 것이 아닌 무엇이 정답인지 모르는 문제에서 최선의 결과를 인공 신경망이 스스로 찾아 나가는 과정’이라고 할 수 있다.
이 같은 강화 학습 알고리즘의 입문자 또는 실무에 활용하고 싶은 사람들이 보다 쉽게 접근할 수 있도록, 선행되어 있어야 할 기초 수학을 설명하고, 이론에 다양한 예제를 첨부하여 학습의 재미와 효율성을 더하고 있다.
단순히 ‘강화학습이 뭘까?’하는 가벼운 호기심으로 일반인들이 접하기에는 쉽지 않은 내용인 것 같다. 기초 수학이라고 해도 선형 대수, 미적분, 확률과 통계 같은 어느정도 수준이 있는 수학적 배경이 요구되고, 내용 자체가 교양서적처럼 가볍게 읽을 것은 아니기 때문이다. 단, 인공지능 분야에 관심이 있는 분들, 특히 강화학습을 기초부터 실전까지 탄탄히 쌓아가며 제대로 배우고 싶다면, 혹 입문자라 해도 이 책의 충실한 구성과 내용, 다양한 실습 예제가 많은 도움이 되리라고 여긴다. |
|
강화 학습을 배우기 위해 처음부터 여러운 책은 이제 그만! 강화 학습의 이론을 쉽게 풀어서 설명한 『강화학습 이론&실습』으로 시작해 봅시다.
책의 구성으로는 1장과 2장에서는 강화 학습을 배우기에 앞서 필요한 환경 설정과 선형 대수와 통계, 미분과 적분과 같이 기초적인 수학을 설명합니다.
좋았던 부분으로 사전 지식과 기초 수학으로 강화 학습을 공부하기 앞서 기초를 다진다는 점이었습니다. 강화 학습을 처음 배우는 독자가 쉽게 입문을 할 수 있도록 다양한 예시와 도표를 제시하는 것이 인상적이었습니다.
강화 학습은 다른 딥러닝 알고리즘과 달리 무엇이 정답이 모르는 문제에서 최선의 결과를 인공 신경망이 스스로 찾아나가는 과정입니다. 이러한 강화 학습을 보면서 어떤 프로그램이나 기계가 아닌 인생의 답을 찾아 살아가는 우리 자신이 떠올랐습니다. 또한 다양한 삶을 사는 우리의 인생과 마찬가지로 강화 학습은 단순히 하나의 분야가 아닌 여러 분야가 어우러져 있어 진입장벽이 높습니다. 강화 학습을 배우기 위해서 고생한 저자는 강화 학습의 높은 장벽을 실감하여 강화 학습이라는 분야를 어떻게 쉽게 설명할 수 있을까 고민을 했고, 책을 읽으면서 이론부터 예제 설명까지 세심하게 신경쓴 저자의 노력을 느낄 수 있었습니다.
복잡한 수식과 어려운 이론으로 가득한 강화 학습이지만 기초부터 탄탄히 다질 수 있는 『강화학습 이론&실습』이라면 쉽고 재미있게 공부할 수 있을 것 입니다.
해당 서평은 YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다
|
|
시중에 나와 있는 AI 서적들을 보면 머신러닝, 딥러닝 등 다양하게 잘 나와있지만 강화학습을 중점으로 다룬 책은 잘 보이지 않습니다. 그나마 있는 시중의 책들도 입문자가 보기 어려워 순순히 따라가기에는 많이 힘겨울 것으로 생각됩니다. 강화학습을 공부하기 위해서는 사전 지식으로 다양한 분야에서의 상당한 양의 지식이 필요로 합니다. 선형대수학, 미분적분학, 통계학, 컴퓨터공학 등이 있으며 강화학습을 위해 이를 각각 개별적으로 공부를 하게 되면 시간도 많이 걸릴뿐더러 공부하다 지칠 확률이 큽니다. 따라서 이 책은 강화학습이 메인 테마이기 때문에 강화학습에 필요한 내용들 위주로 배워 이 책을 통하여 강화학습이라는 분야에 한 발짝 다가가는 것이 좋을 것이라 생각됩니다. 책의 구성을 간단하게 언급하자면 사전 지식 익히기 - 기본 개념 - 알고리즘 - 실습 형태입니다. 책은 총 7장으로 구성되어 있으며 1장에서 윈도우/리눅스에서의 환경설정, 2장에서는 강화학습을 본격적으로 시작하기에 앞서 필요한 사전 지식인 기본 수학(선형대수, 미분적분, 확률과 통계), 인공신경망 등을 배웁니다. 3, 4장에서는 강화학습의 기본 개념을 익히고 5~7장에서는 인공신경망을 이용한 강화학습 알고리즘을 익혀 실습 예제를 통해 적용해 보는 시간을 보내게 됩니다. 책 내부는 이미지를 통해 이해를 돕고 있고 구현 코드에 각각 개별로 부연 설명이 기재되어 있기 때문에 실습 코드를 천천히 한 줄씩 따라 하다 보면 이해하는데 큰 막힘이 없어 비교적 수월하게 진행할 수 있습니다. 추후에 책에서 배운 해당 이론과 알고리즘을 응용하여 업무나 개인 프로젝트에 적용해 보는 것이 기대됩니다.
* YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다. * |