머신러닝은 1990년대에 이르러서야 번성하기 시작했지만, 고속 처리 하드웨어와 대규모 데이터셋6을 활용할 수 있게 되면서 인공지능 하위 분야 중 가장 인기를 끌었다. 머신러닝은 수리통계학과 밀접한 관련이 있지만, 몇 가지 점에서 통계학과는 다른 면이 있다. 머신러닝은 통계학과 달리 베이즈 분석과 같은 고전적인 통계 분석에 효율적이지 못할 뿐만 아니라 복잡한 대규모 데이터셋(수백만 개 이미지 또는 각 이미지가 수십만 개 픽셀로 구성된 데이터셋)을 처리해야 하는 경향이 있다. _6p

그러면 케라스 및 텐서플로의 기본 CPU 기반 설치 내역이 제공된다. 딥러닝 워크스테이션 설정을 다룬 절에서 언급했듯이, 여러분은 아마도 GPU에서 딥러닝 모델을 훈련해 보기를 바랄 것이다. 엔비디아 GPU, 제대로 구성된 CUDA 및 cuDNN 라이브러리가 있는 시스템에서 실행하는 경우, 다음과 같이 텐서플로라는 백엔드 엔진의 GPU 기반 버전을 설치할 수 있다. _71p

이는 지도학습의 구체적인 사례이지만, 별도의 범주를 이룰 만큼 아주 다르다. 자기지도학습(self-supervised learning)은 사람이 주석을 첨부하지 않는 학습을 말한다. 학습 과정에 인간이 개입하지 않는 지도학습으로 생각할 수도 있다. 비지도학습에도 (학습은 뭔가에 의해 지도돼야 하기 때문에) 레이블이 포함돼 있기는 하지만, 레이블은 일반적으로 휴리스틱 알고리즘을 사용해 입력 데이터로부터 생성한다. _108p

합성망 예제에서는 모든 layer_max_pooling_2d 이후에 특징 지도의 크기가 절반으로 줄어든다. 예를 들어, 첫 번째 layer_max_pooling_2d 이전에 특징 지도는 26 × 26이지만, 최대 풀링 작업을 하고 나면 13 × 13이 돼 절반으로 줄어든다. 이것이 최대 풀링의 역할이다. 보폭 합성곱과 마찬가지로 특징 지도를 적극적으로 하향 표본 추출하는 것이다. _146p

이러한 루프(loop)와 상태(state)라는 개념을 명확히 하기 위해 R 언어를 이용해 간단한 RNN의 순전파(forward pass, 즉 ‘전방 전달’)를 구현해 보자. 이 RNN은 벡터들로 이뤄진 시퀀스를 입력으로 취한다. 벡터의 차원은 2D 텐서(timesteps, input_features)로 부호화된다. 시간대를 반복하고, 각 시간대에서 (input_features 모양으로 된) t 시점의 현재 상태와 입력을 고려해 이들을 결합함으로써 t에서 출력을 얻는다. 217p

케라스 구현에서 이러한 아이디어를 실제로 활용해 보자. 가장 먼저 필요한 것은 언어 모델을 익히는 데 사용할 수 있는 많은 텍스트 데이터이다. 임의의 큰 텍스트 파일이나 텍스트 파일 셋(위키피디아, 반지의 제왕 등)을 사용할 수 있다. 이 예에서는 19세기 후반 독일의 철학자 니체의 저술을 영어로 번역했다. 따라서 배울 수 있는 언어 모델은 구체적으로 영어의 일반적인 모델이 아닌 니체의 문체 및 주제의 모델이 될 것이다. _304p