|
1장 딥러닝과 PyTorch의 학습 구조
딥러닝이 다루는 문제의 형태 입력과 출력 사이의 함수 근사 학습 데이터와 모델의 관계 파라미터와 학습의 의미 PyTorch가 계산을 표현하는 방식 모델 학습 흐름의 전체 구조 2장 텐서 연산과 계산 그래프 텐서의 차원과 형태 브로드캐스팅과 행렬 연산 텐서 변형과 데이터 재배열 계산 그래프의 구성 원리 자동 미분의 동작 방식 기울기 추적과 연산 기록 3장 신경망의 구성과 계층 설계 선형 계층의 역할 활성화 함수가 만드는 비선형성 은닉층의 깊이와 표현력 출력층의 구조와 예측 형태 모듈 조합을 통한 모델 구성 순전파 구조의 설계 원리 4장 손실 함수와 최적화 원리 오차를 수치로 표현하는 방법 회귀 문제를 위한 손실 함수 분류 문제를 위한 손실 함수 경사하강법의 계산 원리 학습률이 수렴에 미치는 영향 옵티마이저별 갱신 방식의 차이 5장 데이터 처리와 학습 흐름 데이터셋 구성의 원리 훈련 데이터와 검증 데이터의 구분 배치 단위 학습의 의미 셔플과 반복 구조의 필요성 DataLoader를 통한 입력 파이프라인 에포크와 반복 횟수의 관계 6장 완전연결 신경망의 구조와 학습 완전연결 구조가 적합한 문제 입력 벡터와 출력 벡터의 연결 은닉층 설계와 표현 공간 분류 모델의 출력 해석 회귀 모델의 출력 해석 완전연결 신경망 학습 과정의 구현 7장 합성곱 신경망의 구조 이해 이미지 데이터와 공간 정보 합성곱 연산의 핵심 원리 커널과 특성 맵의 관계 패딩과 스트라이드의 영향 풀링 계층의 역할 분류를 위한 합성곱 신경망 구성 8장 순환 신경망과 시계열 학습 순서 정보가 있는 데이터의 특징 순환 구조의 상태 전달 방식 시점별 입력과 은닉 상태의 관계 긴 시퀀스 학습의 어려움 LSTM과 GRU의 구조 차이 시계열 예측을 위한 모델 구성 9장 어텐션과 트랜스포머의 원리 어텐션이 필요한 이유 쿼리 키 값 구조의 해석 가중합으로 만드는 문맥 표현 멀티헤드 구조의 의미 위치 정보의 반영 방식 트랜스포머 인코더의 구성 원리 10장 모델 평가와 학습 안정화 훈련 손실과 검증 손실의 해석 정확도와 오차 지표의 비교 과적합이 발생하는 구조적 원인 정규화가 학습에 미치는 영향 드롭아웃과 배치 정규화의 역할 재현 가능한 학습 설정의 중요성 |