가능하다면 이 책은 일반적인 것에서 구체적인 것으로, 또한 간단한 부분에서 복잡한 쪽으로 관련된 개념들을 각각의 장에서 다루며 진행하려 한다. 알고리즘에 더 집중하고 실습을 통해 배울 수 있도록 확률 개념부터 시작하기보다는 간단하고 오래 사용되었던 알고리즘인 지도학습부터 시작하겠다.
_15쪽

손으로 계산해 봤던 OR 예제를 통해서 코드를 동작시켜 보자. OR 데이터를 만들어 내는 것은 쉬운데 코드를 데이터에 동작시키기 위해서는 파일을 읽어야 하고(pcn), pcntrain 함수를 실행시켜야 한다. 아래에는 배열을 설정하고 함수를 실행시키는 방법과 난수로 초기화된 가중치를 사용해서 프로그램의 5번 실행 반복 결과를 보여 주고 있다(가중치는 첫 번째 반복이 지나고 나서 변화하지 않았는데, 물론 난수를 이용했으므로 실행 때마다 다른 결과 값을 보여 줄 것이다).
_64쪽

멀티 퍼셉트론에서는 입력 값과 가중치들의 곱이 뉴런의 활성화를 결정하는 임계 값보다 높은지 낮은지에 따라서 은닉 노드들의 활성화를 결정한다. 미분 가능성에 대한 요구 사항을 지키지는 못하지만, 입력과 가중치의 곱의 합을 임계 값과 비교해서 임계 값보다 높으면 활성화하고, 낮으면 비활성화가 선형으로(1차원 함수) 작동한다. 어떤 입력 벡터에 대해서는 여러 개의 뉴런들이 활성화될 수 있고, 뉴런들의 출력 값과 가중치의 곱에 합은 두 번째 은닉층의 뉴런 활성화를 결정한다. 은닉층의 활동은 뉴런들에 분산되어서 다음 층에 입력 값으로 활용된다.
_131쪽

MLP나 선형 회귀 문제 등 많은 알고리즘에서 최소제곱 오류법을 사용하였다. 그만큼 많은 분야에서 최적화 문제를 해결할 때 최소제곱법을 보편적으로 사용하고 있으며, 이는 다른 방법에 비해 비교적 쉽게 문제를 해결할 수 있다는 특별한 특징이 연구되었기 때문이다. 이러한 선행 연구 덕분에 최소제곱 문제를 해결하는 특별한 알고리즘 집합들이 생겨났다. 그중에 하나는 매우 잘 알려진 레벤버그 말쿼트(LM, Levenberg-Marquardt) 방법이며, 이는 신뢰 영역 최적화 알고리즘(trust region optimisation algorithm)이다. 이제 LM 알고리즘을 유도하고, 왜 최소제곱 문제가 특별한 경우인지를 살펴본다.
_225쪽

입력 공간에 클러스터의 중심을 무작위로 위치시켜서 시작하고, 이를 데이터를 통해서 갱신해 나간다. 각 데이터가 어떤 클러스터에 속하는지는 거리 계산을 통해서 가장 가까운 클러스터의 중심을 갖는 클러스터로 배정한다. 이를 위한 계산 비용은 7.2.2절의 KD 트리 알고리즘을 통해서 줄일 수 있다. 클러스터에 배정된 모든 데이터 점들에 대해서 평균을 구하고 클러스터의 중심을 다시 움직인다. 알고리즘을 클러스터의 중심이 변화하지 않을 때까지 반복하며, 알고리즘은 다음과 같다.