주어진 데이터에서 어떤 특정한 패턴을 찾아내는 것은 때때로 아주 중요한 문제다. 이 문제에 대해서 인류는 오랜 시간 동안 답을 찾아왔으며, 성공적으로 패턴을 찾아내곤 했다. 예를 들어, 요하네스 케플러(Johannes Kepler)는 티코 브라헤(Tycho Brahe)가 16세기에 관찰하여 축적해 놓은 대량의 천문학 데이터에서 패턴을 찾아내어 케플러의 행성 운동 법칙을 발견했다. 이 법칙은 고전 역학의 밑거름이 되었다. 또 다른 예로, 원자 스펙트럼에서 규칙성을 발견해 낸 것은 20세기 초의 양자 물리학의 발전과 확인에 중요한 역할을 해냈다. 이처럼 패턴 인식은 컴퓨터 알고리즘을 활용하여 데이터의 규칙성을 자동적으로 찾아내고, 이 규칙성을 이용하여 데이터를 각각의 카테고리로 분류하는 등의 일을 하는 분야다. _1p

매개변수적인 접근법의 한계점 한 가지는 분포가 특정한 함수의 형태를 띠고 있다고 가정한다는 것이다. 몇몇 적용 사례의 경우에는 이 가정이 적절하지 않다 이런 경우에는 비매개변수적(nonparametric) 밀도 추정 방식이 대안으로 활용될 수 있다. 비매개변수적 밀도 추정 방식에서는 분포의 형태가 데이터 집합의 크기에 대해 종속적이다. 이러한 모델들은 여전히 매개변수를 가지고 있지만, 이 매개변수들은 분포 형태를 결정짓는 것이 아니라 모델의 복잡도에 영향을 미친다. 또한, 이 장 마지막에서는 히스토그램, 최근접 이웃, 커널을 바탕으로 한 비매개변수적 방법에 대해서 살펴볼 것이다. _76p

이 장에서는 특정 함수의 형태를 가진 확률 분포들에 대해 살펴보았다. 그리고 이 분포들은 데이터 집합에 의해 결정되는 적은 수의 매개변수에 의해 조절되었다. 이러한 방법을 밀도 모델링의 매개변수적(parametric) 방법이라고 한다. 이 방법론의 중요한 한계점은 선택된 밀도 함수가 관측된 데이터를 만들어낸 분포를 표현하기에 적절하지 않은 모델이었을 수도 있다는 점이다. 이 경우 모델의 예측 성능이 매우 떨어지게 된다. 예를 들어, 데이터를 만들어낸 원 분포가 다봉 분포였을 경우 단봉 분포인 가우시안 분포를 사용해서는 이 다봉성의 성질을 절대로 잡아낼 수가 없다. 134p

모델의 매개변숫값에 대한 점 추정을 시행하는 대신에 해당 매개변수를 바탕으로 주변화(합산 혹은 적분)를 시행함으로써 최대 가능도 방법과 연관된 과적합 문제를 피할 수 있다. 이 경우 훈련 집합을 바탕으로 모델들을 직접 비교할 수 있어 검증 집합이 필요하지 않게 된다. 모든 사용 가능한 데이터들을 훈련에 쓸 수 있으며, 교차 검증법을 시행하기 위해 필요한 각 모델에 대한 여러 번의 훈련을 피할 수 있다. 또한, 여러 복잡도 매개변수들을 한 번의 훈련 과정에서 동시에 결정할 수 있다. 예를 들어, 7장에서는 상관 벡터 머신(relevance vector machine)에 대해 살펴보게 될 것인데, 이는 각각의 훈련 데이터 포인트 하나마다 하나씩의 복잡도 매개변수를 가지는 베이지안 모델이다. _182p

‘뉴럴 네트워크(neural network)’라는 용어는 생물학 시스템상에서의 정보 처리 과정을 수학적으로 표현하고자 하는 노력으로부터 기인하였으며(McCulloch and Pitts, 1943; Widrow and Hoff, 1960; Rosenblatt, 1962; Rumelhart et al., 1986), 또한, 다양한 모델들을 표현하는 용어로서 매우 포괄적으로서 사용되어 왔다. 이 모델들 중 일부는 그 생물학적 타당성이 과장되었다는 의심을 받기도 했다. 하지만 패턴 인식의 응용 측면에서 보자면 생물학적으로 실제 현실에 가까운지 아닌지는 불필요한 추가적 제약 조건일 뿐이다. 따라서 이 장에서는 효과적인 통계적 패턴 인식 모델로써의 뉴럴 네트워크에 대한 논의에 초점을 맞출 것이다. 특히, 뉴럴 네트워크들 중에서 실제적인 가치를 가장 많이 주는 것으로 증명된 다층 퍼셉트론 모델에 대해 집중적으로 살펴볼 것이다. _254p

만약 우리가 관측 변수와 잠재 변수들에 대한 결합 분포를 정의한다면, 이에 해당하는 관측 변수들만의 분포는 주변화를 통해서 구할 수 있다. 이는 복잡한 관측 변수들에 대한 주변 분포를 상대적으로 더 다루기 쉬운 관측 변수와 잠재 변수 확장 공간상의 결합 분포를 통해서 표현할 수 있도록 해준다. 따라서 잠재 변수를 도입하면 단순한 원소들을 바탕으로 복잡한 분포를 구성할 수 있다. 이번 장에서는 이산 잠재 변수를 바탕으로 해석할 수 있는 혼합 모델들에 대해 살펴볼 것이다. 이 예시로는 앞의 2.3.9절에서 살펴본 가우시안 혼합 모델이 있다. 연속적인 잠재 변수에 대해서는 12장에서 살펴볼 것이다. _477p