이미 소장하고 있다면 판매해 보세요.
|
옮긴이 머리말 xiii
베타리더 후기 xiv 시작하며 xvii 감사의 글 xix CHAPTER 01 서론 1 1.1 지도 학습 2 1.2 비지도 학습 8 1.3 강화 학습 12 1.4 윤리 14 1.5 이 책의 구성 17 1.6 추천 도서 18 1.7 이 책을 읽는 방법 19 _참고 문헌 21 CHAPTER 02 지도 학습 23 2.1 지도 학습 개요 24 2.2 선형회귀 예 25 2.3 요약 30 _노트 30 _연습 문제 31 CHAPTER 03 얕은 신경망 33 3.1 신경망의 예 33 3.2 보편 근사 정리 37 3.3 다변량 입력과 출력 38 3.4 얕은 신경망: 일반적인 경우 43 3.5 용어 44 3.6 요약 45 _노트 46 _연습 문제 50 _참고 문헌 53 CHAPTER 04 심층 신경망 55 4.1 신경망 결합 55 4.2 네트워크 결합을 통한 심층 신경망 구성 58 4.3 심층 신경망 59 4.4 행렬 표기법 63 4.5 얕은 신경망 vs. 심층 신경망 65 4.6 요약 67 _노트 68 _연습 문제 71 _참고 문헌 74 CHAPTER 05 손실 함수 75 5.1 최대 우도 76 5.2 손실 함수 구성 방법 80 5.3 예제 1: 단변량 회귀분석 80 5.4 예제 2: 이진 분류 86 5.5 예제 3: 다중 클래스 분류 88 5.6 다중 출력 91 5.7 교차 엔트로피 손실 92 5.8 요약 94 _노트 95 _연습 문제 97 _참고 문헌 101 CHAPTER 06 모델 적합 103 6.1 경사 하강법 103 6.2 확률적 경사 하강법 110 6.3 모멘텀 113 6.4 적응 모멘트 추정 115 6.5 훈련 알고리즘 하이퍼파라미터 118 6.6 요약 119 _노트 120 _연습 문제 124 _참고 문헌 127 CHAPTER 07 기울기와 초기화 129 7.1 문제 정의 129 7.2 미분 계산 131 7.3 간단한 예시 133 7.4 역전파 알고리즘 137 7.5 매개변수 초기화 143 7.6 훈련 코드 예제 147 7.7 요약 149 _노트 149 _연습 문제 153 _참고 문헌 157 CHAPTER 08 성능 측정 159 8.1 간단한 모델 훈련 159 8.2 오차의 원인 161 8.3 오차 줄이기 166 8.4 이중 하강 170 8.5 하이퍼파라미터 선택 174 8.6 요약 175 _노트 176 _연습 문제 181 _참고 문헌 183 CHAPTER 09 정칙화 185 9.1 명시적 정칙화 185 9.2 암묵적 정칙화 189 9.3 성능 향상을 위한 경험적 방법 192 9.4 요약 202 _노트 203 _연습 문제 212 _참고 문헌 214 CHAPTER 10 합성곱 네트워크 219 10.1 불변성과 등변성 220 10.2 1차원 입력에 대한 합성곱 네트워크 221 10.3 2차원 입력에 대한 합성곱 네트워크 229 10.4 다운샘플링과 업샘플링 230 10.5 응용 233 10.6 요약 239 _노트 240 _연습 문제 246 _참고 문헌 249 CHAPTER 11 잔차 신경망 253 11.1 순차 처리 253 11.2 잔차 연결과 잔차 블록 256 11.3 잔차 신경망의 기울기 폭발 260 11.4 배치 정규화 262 11.5 일반적인 잔차 신경망 264 11.6 잔차 연결이 있는 신경망의 성능이 우수한 이유 271 11.7 요약 272 _노트 272 _연습 문제 280 _참고 문헌 282 CHAPTER 12 트랜스포머 285 12.1 텍스트 데이터 처리 285 12.2 점곱 셀프 어텐션 286 12.3 점곱 셀프 어텐션 확장 292 12.4 트랜스포머 층 295 12.5 자연어 처리를 위한 트랜스포머 296 12.6 인코더 모델의 예: BERT 300 12.7 디코더 모델의 예: GPT-3 303 12.8 인코더-디코더 모델의 예: 기계 번역 308 12.9 긴 시퀀스 처리를 위한 트랜스포머 310 12.10 이미지 처리를 위한 트랜스포머 311 12.11 요약 316 _노트 316 _연습 문제 328 _참고 문헌 330 CHAPTER 13 그래프 신경망 337 13.1 그래프란 무엇일까? 337 13.2 그래프 표현 340 13.3 그래프 신경망, 작업, 손실 함수 344 13.4 그래프 합성곱 네트워크 346 13.5 그래프 분류 예 349 13.6 귀납적 모델 vs. 전이적 모델 350 13.7 노드 분류 예 352 13.8 그래프 합성곱 네트워크 층 355 13.9 에지 그래프 359 13.10 요약 360 _노트 361 _연습 문제 370 _참고 문헌 373 CHAPTER 14 비지도 학습 377 14.1 비지도 학습 모델 분류 378 14.2 좋은 생성 모델의 특징 380 14.3 성능 정량화 381 14.4 요약 384 _노트 384 _참고 문헌 386 CHAPTER 15 생성적 적대 신경망 387 15.1 판별을 신호로 사용하기 387 15.2 안정성 향상 393 15.3 점진적 증가, 미니배치 판별, 절단 399 15.4 조건부 생성 402 15.5 이미지 변환 405 15.6 StyleGAN 410 15.7 요약 412 _노트 413 _연습 문제 419 _참고 문헌 421 CHAPTER 16 정규화 흐름 427 16.1 1차원 예제 427 16.2 일반 사례 430 16.3 역변환 가능한 신경망 층 433 16.4 다중 크기 흐름 442 16.5 응용 443 16.6 요약 447 _노트 448 _연습 문제 453 _참고 문헌 456 CHAPTER 17 변분 오토인코더 461 17.1 잠재변수 모델 461 17.2 비선형 잠재변수 모델 463 17.3 훈련 465 17.4 ELBO 속성 468 17.5 변분 근사 470 17.6 변분 오토인코더 471 17.7 재매개변수화 기법 474 17.8 응용 475 17.9 요약 480 _노트 481 _연습 문제 486 _참고 문헌 488 CHAPTER 18 확산 모델 493 18.1 개요 493 18.2 인코더(순방향 과정) 494 18.3 디코더 모델(역과정) 501 18.4 훈련 502 18.5 손실 함수의 재매개변수화 507 18.6 구현 510 18.7 요약 516 _노트 516 _연습 문제 521 _참고 문헌 524 CHAPTER 19 강화 학습 527 19.1 마르코프 결정 과정, 반환 및 정책 528 19.2 기대 수익 532 19.3 표 형식 강화 학습 536 19.4 Q-러닝 적합 541 19.5 정책 경사 방법 545 19.6 행위자-비평자 방법 551 19.7 오프라인 강화 학습 552 19.8 요약 554 _노트 555 _연습 문제 561 _참고 문헌 564 CHAPTER 20 왜 딥러닝이 효과적일까? 567 20.1 딥러닝에 반하는 사례 567 20.2 적합 성능에 영향을 미치는 요소 569 20.3 손실 함수의 특성 575 20.4 일반화 결정 요인 579 20.5 정말로 많은 매개변수가 필요한가? 584 20.6 신경망은 깊어야 할까? 587 20.7 요약 590 _연습 문제 591 _참고 문헌 592 CHAPTER 21 딥러닝과 윤리 597 21.1 가치 정렬 598 21.2 의도적인 오용 606 21.3 그 밖의 사회적, 윤리적, 전문적 문제 608 21.4 사례 연구 611 21.5 과학의 가치 중립적 이상 612 21.6 집단적인 행동 문제 관점에서의 책임 있는 AI 연구 614 21.7 앞으로 나아갈 길 615 21.8 요약 617 _연습 문제 618 _참고 문헌 620 APPENDIX A 표기법 627 A.1 스칼라, 벡터, 행렬, 텐서 627 A.2 변수와 매개변수 627 A.3 집합 628 A.4 함수 628 A.5 최소화와 최대화 629 A.6 확률분포 629 A.7 점근 표기법 630 A.8 기타 630 APPENDIX B 수학 개념 631 B.1 함수 631 B.2 이항계수 634 B.3 벡터, 행렬, 텐서 635 B.4 특수한 형태의 행렬 639 B.5 행렬 미적분 641 APPENDIX C 확률 643 C.1 확률변수와 확률분포 643 C.2 기댓값 647 C.3 정규 확률분포 652 C.4 샘플링 656 C.5 확률분포 사이의 거리 657 찾아보기 661 |
Simon J. D. Prince
|
심층 신경망은 크기가 매우 크고 길이가 가변적이며 다양한 종류의 내부 구조를 갖는 입력을 처리할 수 있다. 하나의 실수(회귀), 여러 숫자(다변량 회귀) 또는 2개 또는 그 이상의 클래스에 대한 확률(각각 이진 분류, 다중 클래스 분류)을 출력할 수 있다. 다음 절에서 살펴보겠지만 심층 신경망의 출력 또한 매우 크고 길이가 가변적인 내부 구조를 갖고 있을 수 있다.
--- p.6 종종 동일한 모델을 사용하여 하나 이상의 예측을 하려고 할 때, 예측의 대상이 되는 출력 y는 벡터가 된다. 예를 들어 분자의 녹는점과 끓는점 예측(다변량 회귀분석 문제, 그림 1.2b)이나 또는 이미지의 모든 점에서의 객체 클래스(다변량 분류 문제, 그림 1.4a) 예측이 있다. 다변량 확률분포를 정의하고 신경망을 사용하여 모델의 매개변수를 입력에 대한 함수로 모델링할 수도 있지만, 일반적으로 각 예측을 독립적으로 처리하게 된다. --- p.91 주요 문제 중 하나는 경사하강 알고리즘의 최종 목적지가 전적으로 시작점에 의해 결정된다는 것이다. 확률적 경사 하강법(stochastic gradient descent, SGD)은 각 단계에서 기울기에 약간의 잡음을 더해서 이 문제를 해결한다. 이 해결책은 여전히 평균적으로는 내리막 방향으로 이동하지만 어느 순간에 선택한 방향이 반드시 가장 가파른 내리막 방향이 아닐 수도 있다. 심지어 내리막 방향이 아닐 수도 있다. SGD 알고리즘은 일시적으로 오르막 방향으로 이동할 수도 있고, 경우에 따라 손실 함수의 한 ‘계곡’에서 다른 ‘계곡’으로 이동할 수도 있다(그림 6.5b). --- p.111 편향은 모델이 실제 기저 함수를 제대로 표현할 수 없기 때문에 발생한다. 따라서 모델을 유연하게 만들어서 이 오차를 줄일 수 있다. 이는 일반적으로 모델의 용량을 늘려서 해결할 수 있다. 신경망의 경우 더 많은 은닉 유닛/은닉층을 추가해서 모델의 용량을 늘일 수 있다. / 단순한 모델에서 용량을 늘이는 것은 은닉 유닛을 추가해서 구간 [0, 1]을 좀 더 많은 선형 영역으로 분할하는 것과 같다. 그림 8.7a-c는 이를 통해 실제로 편향이 줄어드는 것을 보여준다. 선형 영역의 수를 열개로 늘리면 실제 함수에 밀접하게 적합할 만큼 모델이 충분히 유연해진다. --- p.168 생성적 자기 지도 학습(generative self-supervised learning)에서는 각 데이터 견본의 일부를 가리고, 누락된 부분을 예측하는 보조 작업을 수행한다(그림 9.12c). 예를 들어 레이블이 지정되지 않은 이미지 모음과 이미지의 누락된 부분을 인페인팅(채우기)하기 위한 보조 작업을 사용할 수 있다(그림 9.12c). 마찬가지로, 대규모 텍스트 모음의 일부 단어를 가리고, 누락된 단어를 예측하도록 네트워크를 훈련시킨 다음 관심 있는 실제 언어 작업에 맞게 미세 조정한다(12장 참고). / 대조적 자기 지도 학습(contrastive self-supervised learning)에서는 서로 공통점이 있는 견본 쌍을 공통점이 없는 쌍과 비교한다. 이미지의 경우 보조 작업은 이미지 쌍이 서로의 변형 버전인지 또는 관련성이 없는지 식별한다. 텍스트의 경우 보조 작업은 원본 문서에서 두 문장이 서로 문맥에 맞게 이어지는 문장인지 확인한다. 때로는 보조 작업이 연결된 쌍 사이의 정확한 관계를 식별해야 하는 경우도 있다(예를 들어 동일한 이미지에서 두 패치의 상대적 위치 찾기가 있다). --- p.201 StyleGAN은 데이터셋의 변동성을 의미 있는 구성 요소로 분할하고, 각각을 잠재변수로 다루는 보다 현대적인 GAN이다. 특히 StyleGAN은 출력 이미지를 다양한 스케일에서 조절하고 스타일과 잡음을 분리한다. 얼굴 이미지의 경우 큰 스케일의 변화에는 얼굴 모양과 머리 자세가 포함되고, 중간 스케일의 변화에는 얼굴 특징의 모양과 세부 사항이 포함되고, 미세한 스케일의 변화에는 머리카락과 피부색이 포함된다. 스타일 구성 요소는 인간에게 두드러지는 이미지의 측면을 나타내고, 잡음 구성 요소는 머리카락, 수염, 주근깨, 피부 모공의 정확한 위치와 같은 중요하지 않은 변화를 나타낸다. / 지금까지 본 GAN은 표준 기저 분포에서 추출한 잠재변수 z에서 시작했다. 이는 일련의 합성곱층을 통과해서 출력 이미지를 생성한다. 그러나 생성자에 대한 잠재변수 입력은 (i) 신경망의 다양한 지점에 적용할 수 있고 (ii) 이러한 지점에서 현재 표현을 다양한 방식으로 수정할 수 있다. StyleGAN은 신중한 선택을 통해 스케일을 조절하고 스타일을 잡음과 분리한다(그림 15.19). --- p.410 |
|
딥러닝 이론과 최신 트렌드를 아우르는 새로운 고전
딥러닝은 25년 넘게 연구를 지속해온 요슈아 벤지오, 제프리 힌튼, 얀 르쿤 등의 끈질긴 연구로 과학 분야를 혁신적으로 변화시키고 사회 전반에 큰 영향을 미쳤다. 그럼에도 딥러닝을 '제대로 이해하는' 사람은 아직 드물다. 이 책은 딥러닝의 기초부터 트랜스포머, 디퓨전 모델 등 최신 아키텍처에 이르기까지 폭넓게 다루며, 복잡한 내용을 체계적이고 직관적으로 풀어낸다. 최신 참고 문헌과 실무 예제, 풍부한 시각 자료를 통해 학습 난이도를 낮추고 독자의 깊이 있는 이해를 돕는다. 특히 이 책은 단순한 기술 안내서를 넘어서 ‘왜 딥러닝이 효과적인가’라는 근본적인 질문에서 AI 윤리에 이르기까지 넓은 시야를 제시한다. 1장에서는 딥러닝을 소개하고, 2~9장에서는 지도 학습 파이프라인 전반을 다룬다. 얕은 신경망과 심층 신경망의 구조를 설명하고, 이를 훈련하고 성능을 측정하고 개선하는 방법을 살펴본다. 10~13장에서는 합성곱 신경망, 잔차 연결, 트랜스포머 등 심층 신경망의 대표적인 구조를 다루며, 이 구조들이 지도 학습은 물론 비지도 학습, 강화 학습에도 어떻게 활용되는지를 설명한다. 14~18장에서는 생성적 적대 신경망(GAN), 변분 오토인코더(VAE), 정규화 흐름, 확산 모델 등 심층 생성 모델을 중심으로 비지도 학습을 다룬다. 19장에서는 심층 강화 학습을 간략히 소개하고, 20장에서는 ‘딥러닝은 왜 일반화를 잘할까’, ‘신경망은 왜 그렇게 깊어야 할까’, ‘왜 많은 매개변수가 필요한가’와 같은 근본적인 질문을 통해 이중 하강, 그로킹, 복권 티켓 가설 등 주요 개념을 탐구한다. 마지막으로 21장에서는 딥러닝과 윤리에 관한 논의한다. 부록에서는 표기법, 수학 개념, 확률 등 핵심 배경 지식을 정리해 학습 흐름을 끊지 않고 개념을 따라갈 수 있도록 했다. 또한 책에 수록된 모든 이미지는 QR 코드를 통해 컬러로 확인할 수 있어 학습 효과를 더욱 높인다. 이 책은 이론서도, 실용서도 아니다. 증명은 없고, 코드도 거의 없다. 대신 딥러닝의 핵심 개념을 깊이 있고 명확하게 짚으며, 기존의 성공 공식이 통하지 않는 새로운 문제 앞에서도 스스로 해답을 찾을 수 있는 개념적 기반을 제공한다. 각 장은 실전에서 마주치는 문제를 근본적으로 이해하고 해결할 수 있도록 구성되어 있다. 딥러닝을 처음부터, 깊이 있게, 제대로 이해하고자 하는 이들을 위한 딥러닝의 새로운 고전의 탄생이다. 이럴 때 권합니다 ● 딥러닝의 개념과 이론을 정리하고자 할 때 ● 개념을 효과적으로 전달할 수 있는 설명과 시각 자료가 필요할 때 ● 구현한 모델의 구조와 작동 원리를 정확히 이해하고자 할 때 주요 내용 ● 딥러닝의 기본 원리와 신경망 구조 ● 모델 훈련, 최적화, 성능 평가 기법 ● CNN, 트랜스포머, 그래프 신경망 등 주요 구조 ● GAN, VAE, 디퓨전 모델 등 생성 모델 ● 강화 학습의 개념과 적용 방식 ● 딥러닝의 일반화 능력과 작동 메커니즘 ● AI 윤리와 기술의 사회적 책임 |
|
지적으로 깊이 있고, 시각적으로도 세련된 책입니다. 딥러닝의 핵심 개념을 간결하면서도 쉽게 설명하고, 이해를 돕는 도해도 곳곳에 실려 있습니다. 지금까지 나온 딥러닝 입문서 중 가장 우수한 책입니다. - 케빈 머피 (구글 딥마인드 연구원, 『확률론적 머신러닝: 기본편』 저자)
|