알파고 제로를 발표한지 48일이 지난 2017년 12월, 딥마인드는 알파고 제로를 한층 개량한 알파제로를 선보였다. 알파제로는 바둑뿐만 아니라, 체스나 장기까지 학습할 수 있었으며, 당시 바둑, 체스, 장기 부문에서 게임 AI 세계 챔피언이었던 알파고 제로, 스톡피쉬, 엘모에 승리를 거두었다.
--- p.5

활성화 함수는 주로 전결합 레이어 다음에 적용하는 함수다. 레이어의 출력을 특정한 함수에 통과시킨 뒤, 최종 출력값을 결정한다. 활성화 함수를 사용하면 선형적으로 분류할 수 없는 데이터도 분류할 수 있기 때문에 보다 복잡한 특징을 잡아낼 수 있다. 선형적으로 분류할 수 없는 데이터란 일직선으로 분리할 수 없는 데이터를 의미한다.
--- p.71

정책에 따라 행동하면서 성공 시의 행동은 중요한 것으로 판단하고, 그 행동을 많이 할 수 있도록 정책을 갱신하는 방법을 ‘정책 경사법’이라고 부른다. 이번에는 정책 경사법을 활용해 미로 게임을 공략한다. 에이전트가 상하좌우로 이동해 골인 지점(우측 하단)까지 도착하는 것이 목적이다.
--- p.138

ResNet과 같은 컨볼루셔널 뉴럴 네트워크는 이미지 인식 분야에서 보다 높은 성능을 발휘하는 뉴럴 네트워크다. 알파제로에서는 이 뉴럴 네트워크의 입력으로 이미지가 아닌 게임의 보드면을 사용한다. 이미지와 게임의 보드면은 모두 가로세로 방향의 정보 나열에 의미가 있으므로 컨볼루셔널 뉴럴 네트워크를 활용해 특징을 추출하기에 적합하다.
--- p.232

두 사람이 대전하는 보드 게임인 ‘오셀로’를 구현한다. 교대로 6×6의 보드면에 돌을 놓고, 상대의 돌을 포위하면 자신의 돌의 색깔로 바꾼다. 마지막에 돌이 많은 쪽이 승리한다. 둘수 있는 수가 없는 경우에는 자동적으로 패스가 되며(순서가 상대방에게 넘어감), 연속으로 패스하면 게임이 종료된다. ‘오셀로 UI’에서는 클릭으로 돌을 배치한다. 또한, 간소화한 버전이기 때문에 사람이 항상 선 수를 둔다.