제 1 부 인공지능과 머신 러닝 1

1.1. 인공지능 1
1) 인공지능: 현대적 접근 방식 1
2) 스마트 홈 생태계 3
1.2. 머신러닝 5
1) 기계학습 핵심: 최적화와 일반화 6
2) 인공지능, 기계학습과 딥러닝 8
1.3. 기계학습 학습방식 11
1) 지도학습(supervised learning) 11
2) 비지도 학습(Unsupervised learning) 13
3) 반지도 학습 13
4) 강화학습(Reinforcement learning) 14
1.4. 기타 학습법 15
1) 차원 축소 15
2) 자가 학습(self learning) 16
3) 특징 학습(feature learning) 17
4) 매니폴드 학습 알고리즘(manifold learning algorithms) 17
5) 희소 사전 학습(sparse dictionary learning) 18
6) 이상 탐지(anomaly detection) 19
7) 연관 규칙(association rules) 20
1.5. 머신러닝 모델 22
1) 인공신경망(ANN) 22
2) 의사 결정 트리 23
3) 서포트 벡터 머신(SVM) 25
4) 회귀 분석 29
5) 베이지안 네트워크 30
6) 유전 알고리즘(Genetic algorithms) 31
7) 연합 학습(Federated learning) 32
1.6. 머신러닝 단점 34
1) 편향 34
2) 과적합 35
3) 기타 단점 36
1.6. 모델 평가 40
1) K-폴드 교차검증 40
2) TP, FP, FPR, FNR 40
3) 성능평가 지표(F1-score) 41
4) 혼동행렬, ROC 43

제 2 부 데이터와 머신 러닝 45

2.1. 데이터 45
1) Data, 정보, 지식과 지혜 45
2) 빅데이터(Big Data) 46
2.2. 정형과 비정형 데이터 47
1) 비정형 데이터 분석방법 48
2) 텍스트 마이닝 49
3) 오피니언 마이닝 49
2.3. 머신러닝 학습 50
1) 분류분석(Classification) 50
2) 예측분석(Prediction) 52
3) 군집분석(Clustering) 53
4) 장바구니 분석(Market Basket Analysis) 54
5) 지지도, 신뢰도와 향상도 55

제 3 부 데이터 유형, 전처리와 특성 58

3.1. 데이터 유형: 시계열 데이터 58
1) 시계열 예측 모델 방법론 59
2) 시계열 구성요소(components) 60
3) 시계열 구성요소 모형 62
4) 시계열 데이터의 특성 63
5) 시계열 데이터의 머신러닝 모델 64
3.2. 데이터 셋 불균형 65
1) SMOTE 65
2) 오버 및 언더 샘플링 66
3) 클래스 가중치 설정 67
4) 앙상블 기법 69
3.3. k Fold Cross-Validation 70
3.4. 데이터 전처리(Data preprocessing) 71
1) 결측치 보정 73
2) 상관관계 분석 73
3) 데이터 정리 73
4) 데이터 편집 75
5) 이상치 76
6) 논리적 불일치 76
3.5. 데이터 축소 77
1) 차원 축소 78
2) 숫자 감소 79
3) 압축 80
4) 특성 선택 81
3.6. 데이터 랭글링 82
1) 데이터 랭글링과 마이닝 82
2) 데이터 랭글링 주요 단계 84
3) 데이터 전처리 예 86
3.7. 데이터 마이닝 87
1) 시맨틱 데이터 전처리(Semantic data preprocessing) 88
2) 의미 데이터 마이닝과 의미 사전 처리 89
3) 시맨틱 데이터 마이닝 장점 89
4) Simple Semantic Data Mining 91
5) 퍼지 전처리 91
6) 온톨로지 92

제 4 부 머신러닝 부트스트랩 94

4.1. 부트스트랩(bootstrap) 94
1) 부팅(booting) 94
4.2. 부트스트랩 방법론 95
1) 부트스트래핑 sampling 96
2) 부트스트래핑 가설 검증 96
3) Bootstrap sampling 특징 97
4) 배깅(부트스트랩 집계) 97
5) 부트스트랩 데이터 세트 생성 98
6) out-of-bag 데이터 세트 생성 100
4.3. 머신러닝 부트스트랩 생성 101
1) 결정 트리(decision tree) 부트스트랩 101
2) 랜덤포레스트 102
3) 랜덤포레스트와 군중지혜 103
4) 결정 결과와 군중 지혜 105
5) 예측 정확도 개선 106
6) 오존 데이터 예측 108

제 5 부 머신러닝 모델 110

5.1. KNN (K-Nearest Neighbor) 110
1) k-NN 분류 110
2) KNN 동작원리 111
3) k-NN 분류와 회귀 113
4) k-NN 단점 115
5) 하이퍼파라미터 매개변수 지정 116
6) k-NN 회귀 122
5.2. 결정 트리(decision tree)) 124
1) 결정트리 종류 125
2) 결정 트리의 스태킹 방법 126
3) 결정트리 기타 방법 127
4) 구조 설명 : 노드, 클래스, 리프, 레이블 127
5) 수학적 기법과 계산적 기법의 조합 129
6) 평가 측정지표 129
7) 지니 불순도(Gini impurity) 135
9) 정보 이득(Information gain) 138
9) 결정트리 모델의 특징 139
10) 결정트리 장점과 한계점 141
11) 결정트리 구현 142
12) 결정트리 대체 검색 방법 145
5.3. 랜덤포레스트(random forest) 150
1) random decision forests 150
2) Random Forest 프로세스 151
3) Random Forest의 성능 평가 154
4) 트리 배깅 알고리즘 155
5) 배깅과 랜덤포레스트 156
6) 랜덤포레스트 특성 157
7) KeRF(keystone random forest)와 랜덤포레스트 162
8) 랜덤포레스트 특징과 단점 163
9) 랜덤포레스트 구현과 평가 164
5.4. SVM(Support Vector Machine) 169
1) SVM 169
2) SVC 커널 트릭 169
3) 파라미터 튜닝 170
4) 수학적 정의 170
3) 커널 방식 172
5.5. 나이브 베이즈 174
5.6. 로지스틱 회귀분석 175
5.7. 뉴럴 네트워크 176
1) 이진 활성화 함수 176
2) 인공 신경망 아키텍쳐 178
3) 가중치 조정 178
4) MLP 179
5) BPNN 180
5.8. Stochastic Gradient Descent(SGD) 182
5.9. 부스팅 184
1) 5 부스팅 알고리즘 184
2) CatBoost 185
3) XGBoost 188
4) AdaBoost 191
5.9. 앙상블 스태킹(stacking) 194
1) 앙상블(ensemble) 194
2) 앙상블 종류 196
3) 배깅(bagging) 197
4) 부스팅(boosting) 199
5) 배깅과 부스팅 특징 201
6) 기타 앙상블 유형 203
5.10. 앙상블 학습 애플리케이션 206
1) 원격 감지(Remote sensing) 206
2) 컴퓨터 보안분야 207
3) 얼굴 인식 207
4) 감정 인식 208
5) 사기 탐지 208
6) 재정적 의사결정 208
7) 의학 208
5.11. 앙상블 알고리즘 구현 208
1) 알고리즘 성능 비교 209
2) 하드 보팅과 소프트 보팅 210
3) VotingClassifier 210
4) R로 구현하기 212
5.12. blending 212
1) blending 의 프로세스 212
2) blending과 stacking 213
5.13. 스태킹 앙상블(stacking ensemble) 214
1) 기본적인 구조 214

제 6 부 데이터 사이언스 218

6.1. 클래스 불균형 218
1) 클래스 균형 218
2) over and under sampling 220
6.2. 데이터 파티션 221
1) train data와 validation data 221
2) test data 221
6.3. anova 분석 222
6.4. 그랜저 인과관계(granger causality) 223
1) 시계열 데이터 225
2) 정상성과 방향성 226
3) 적정한 lags 227
4) r 그래인저 인과 패키지 229
5) 이스라엘과 팔레스타인 문제 231
6.5. 나이브 베이즈 분류기 구현 234
1) 파이썬 구현 234
2) 나이브 베이즈 장단점 235
6.6. 분류성능 평가지표 235
1) 모델의 분류와 정답 236
2) precision, recall and accuracy 236