강화학습의 간단한 예로 고전 게임 틱-택-토(tic-tac-toe)를 들 수 있다. 이 예시에서 게임판의 각 위치는 이전의 경험에 기반을 둔 상황에서 승리할 수 있는 확률(값)과 연관돼 있다. 게임 시작 시점에서는 어떤 위치에서든 이기거나 질 확률이 같기 때문에 각 상태의 확률값은 50%다. 보통 기계는 게임에서 승리하기 위해 높은 값을 갖고 있는 곳으로 위치를 옮기고, 만약 게임에서 지면 다시 평가한다. 각 위치에서 이미 결정된 규칙보다는 가능한 결과를 기반으로 의사결정을 한다. 이렇게 게임을 하는 동안 여러 상태에 대한 확률을 수정하며, 각 위치가 높은 확률인지 낮은 확률인지에 대한 결괏값을 내놓는다.
--- p. 8

우리가 이해해야 할 일반적인 개념은 다음과 같다. 모든 뉴럴 네트워크는 함수의 근삿값이다. 그래서 원하는 함수와 각각의 뉴럴 네트워크는 몇 개의 값이 다르다. 이 값들을 에러라고 하며, 이 에러를 최소화하는 것이 목표다. 에러가 뉴럴 네트워크의 웨이트 함수라면, 웨이트 값에 따라 에러를 최소화하려고 한다. 에러 함수는 많은 웨이트의 함수이기 때문에 많은 변수를 가진 함수다. 수학적으로는 함수에서 0인 점들의 집합은 하이퍼 평면이 되고, 이 평면에서 최솟값을 찾으면 에러 함수에서 가장 작은 값을 구할 수 있다. 하나의 점을 선택하고 최솟값의 방향으로 따라가면 최솟값을 찾을 수 있다.
--- p. 48

딥러닝의 매력은 계층 구조를 따르는 것 이외에도 많다. 훈련이 끝날 때까지 분류되지 않은(unlabeled) 데이터만을 사용했다. 하나하나 분류한(labeled) 예시에 의존하는 게 아니라 역엔지니어링(reverse-engineering)을 통해 숨어 있는 구조를 학습시킨다. 지도학습은 마지막 분류 단계에서만 자동차인지, 동물인지 등을 분류한다. 이전의 모든 단계는 비지도학습 단계를 따른 것이다.
--- p. 101

시간에 따른 역전파’ 섹션의 마지막 그림은 기울기가 폭발하는 현상을 표현했다. RNN은 긴 시간의 컴포넌트로 보내기 때문에 RNN 트레이닝을 불안정한 상태로 만든다. 게다가 기울기가 사라지는 문제의 반대에 해당하는 문제도 존재한다. 긴 시간을 갖는 문제는 기하급수적으로 0으로 수렴하고, 모델은 매우 짧은 순간의 이벤트에서 학습할 수 없다. 이번에는 위 두 문제에 대해 자세히 설명하고, 어떻게 다룰지 확인해 보자.
--- p. 170

이론적으로 최선의 해결책은 신뢰 구간에 기반을 둔 탐색을 실행한다. 여기서 신뢰 구간이란, 확률적으로 실제 평균을 얻을 수 있으리라 기대할 수 있는 범위를 말한다. 불확실성을 맞닥뜨려도 잘 대처하길 원한다. 또한 뭔가를 알지 못한다면 답을 알고 싶어 한다. 신뢰 구간은 주어진 난수(random variable)의 실제 평균에 관한 불확실성을 의미한다. 표본 평균과 신뢰 구간을 바탕으로 선택하면, 같은 시간 동안 확률 공간을 탐색할 때 훨씬 더 수월하다.
--- p. 228

모델을 만들 때 온갖 종류의 의문을 제기할 수 있다. 퐁 게임을 학습하는 모델-기반의 에이전트로 만들 때는 2D 환경, 두 개의 바, 공의 움직임과 함께 기본적인 물리학까지도 다뤄야 한다. 이런 모든 요소들을 모델에 녹여야 성공적으로 동작한다. 이들을 수동으로 추가하고 나면 더 이상 학습할 것이 없지만, 에이전트는 일반화된 학습 알고리즘과는 동떨어져 있다. 그렇다면 모델에서의 우선순위는 무엇인가? 어떻게 실제 발생하는 여러 상황에서도 꼭 필요한 것만 학습하는 유연한 모델을 만들 수 있을까?

<b>컴퓨터 비전, 인공지능, 음성 및 데이터 분석을 위한 차세대 핵심 테크닉!<br/>실제 적용 사례와 간결한 예제로 배우는 딥러닝의 기본!<br/>주요 파이썬 라이브러리를 활용한 딥러닝 실습!<br/></b><br/>인공지능에 대한 관심이 전 세계적으로 높아지면서 딥러닝 기술이 광범위하게 사용되고 있습니다. 이런 흐름에 발맞추고자 한다면 이 책을 통해 머신러닝의 주요 개념을 학습하고 딥러닝의 모범 사례를 비롯한 실제 사용 사례를 살펴볼 수 있습니다. 더불어서 파이썬 기반의 머신러닝/딥러닝 기법을 한층 더 향상시키는 방법을 배울 수 있으며, Theano, TensorFlow, H2O와 같은 인기 있는 최신 오픈소스 라이브러리로 따라 하기 쉬운 튜토리얼을 실행해 보기도 하고, 실생활 예시에 적용하면서 정보를 인식하고 추출하여 예측 정확도를 높이고 결과를 최적화하는 방법을 배울 수도 있습니다.<br/><br/>딥러닝을 자세히 배우고 싶거나 최대한 활용하려는 분들은 부디 이 책을 통해 보다 정확하게 데이터를 스케일링하고, 다양한 딥러닝 알고리즘 기법을 학습하기 바랍니다.<br/><br/><b>이 책의 대상 독자</b><br/>· 데이터 사이언스 실무자 및 관련 분야 취업 준비생<br/>· 머신러닝 기본 개념을 알고 있고 파이썬 프로그래밍 경험이 있는 독자<br/>· 미적분과 통계 등의 수학적 기본 지식을 갖춘 독자<br/><br/><b>이 책의 주요 내용</b><br/>· 딥러닝 알고리즘을 배우기 위한 기본 지식<br/>· Theano, Caffe, Keras, TensorFlow를 활용한 딥러닝 실습<br/>· 오토인코더와 제한적 볼츠만 머신<br/>· 딥 빌리프 넷과 딥 뉴럴 네트워크에 대한 심도 있는 학습<br/>· 드롭아웃과 컨볼루셔널 뉴럴 네트워크 등의 다양한 머신러닝 알고리즘<br/>· 딥러닝 알고리즘과 라이브러리를 실생활에 적용하기 위한 전략