『머신러닝, 핵심만 빠르게!』
옮긴이의 글
추천의 글
지은이의 글

1장 소개
1.1 머신러닝이란?
1.2 학습의 종류
1.2.1 지도 학습
1.2.2 비지도 학습
1.2.3 준지도 학습
1.2.4 강화 학습
1.3 지도 학습의 작동 원리
1.4 모델이 새로운 데이터에 작동하는 이유

2장 표기법과 정의
2.1 표기법
2.1.1 데이터 구조
2.1.2 대문자 시그마(sigma) 기호
2.1.3 대문자 파이 기호
2.1.4 집합 연산
2.1.5 벡터 연산
2.1.6 함수
2.1.7 max와 arg max
2.1.8 할당 연산자
2.1.9 도함수와 그레이디언트
2.2 확률 변수
2.3 불편 추정량
2.4 베이즈 정리
2.5 파라미터 추정
2.6 파라미터 vs. 하이퍼파라미터
2.7 분류 vs. 회귀
2.8 모델 기반 학습 vs. 사례 기반 학습
2.9 얕은 학습 vs. 딥러닝

3장 기본 알고리즘
3.1 선형 회귀
3.1.1 문제
3.1.2 해결책
3.2 로지스틱 회귀
3.2.1 문제
3.2.2 해결책
3.3 결정 트리 학습
3.3.1 문제
3.3.2 해결책
3.4 서포트 벡터 머신
3.4.1 잡음 다루기
3.4.2 비선형성 다루기
3.5 k-최근접 이웃

4장 학습 알고리즘
4.1 학습 알고리즘의 구성요소
4.2 경사 하강법
4.3 머신러닝 엔지니어가 일하는 방법
4.4 학습 알고리즘의 특징

5장 기본 실무 기술
5.1 특성 공학
5.1.1 원핫 인코딩
5.1.2 구간 분할
5.1.3 정규화
5.1.4 표준화
5.1.5 누락된 특성 다루기
5.1.6 데이터 대체 기법
5.2 학습 알고리즘 선택
5.3 훈련 세트, 검증 세트, 테스트 세트
5.4 과소적합과 과대적합
5.5 규제
5.6 모델 성능 평가
5.6.1 혼동 행렬
5.6.2 정밀도/재현율
5.6.3 정확도
5.6.4 비용 민감도 기반 정확도
5.6.5 ROC 곡선 아래 면적(AUC)
5.7 하이퍼파라미터 튜닝
5.7.1 교차 검증

6장 신경망과 딥러닝
6.1 신경망
6.1.1 다층 퍼셉트론
6.1.2 피드포워드 신경망
6.2 딥러닝
6.2.1 합성곱 신경망
6.2.2 순환 신경망

7장 문제 해결
7.1 커널 회귀
7.2 다중 분류
7.3 단일 클래스 분류
7.4 다중 레이블 분류
7.5 앙상블 학습
7.5.1 부스팅과 배깅
7.5.2 랜덤 포레스트
7.5.3 그레이디언트 부스팅
7.6 시퀀스 레이블링
7.7 시퀀스-투-시퀀스 학습
7.8 능동 학습
7.9 준지도 학습
7.10 원샷 학습
7.11 제로샷 학습

8장 특수 기법
8.1 불균형한 데이터셋 다루기
8.2 결합 모델
8.3 신경망 훈련
8.4 고급 규제 기법
8.5 다중 입력 다루기
8.6 다중 출력 다루기
8.7 전이 학습
8.8 알고리즘 효율성

9장 비지도 학습
9.1 밀도 추정
9.2 군집
9.2.1 k-평균
9.2.2 DBSCAN과 HDBSCAN
9.2.3 클러스터 개수 결정하기
9.2.4 다른 군집 알고리즘
9.3 차원 축소
9.3.1 주성분 분석
9.3.2 UMAP

10장 다른 학습 방법
10.1 메트릭 학습
10.2 순위 학습
10.3 추천 학습
10.3.1 행렬 분해 방법
10.3.2 잡음 제거 오토인코더
10.4 자기 지도 학습: 단어 임베딩
10.5 이상치 탐지

11장 결론
11.1 이 책에서 다루지 않은 것들
11.2 감사의 글
11.3 다음에 읽을 책


『대규모 언어 모델, 핵심만 빠르게!』
옮긴이의 글
추천의 글
지은이의 글

1장 머신러닝 기초
1.1 AI와 머신러닝
1.2 모델
1.3 네 단계 머신러닝 프로세스
1.4 벡터
1.5 신경망
1.6 행렬
1.7 경사 하강법
1.8 자동 미분

2장 언어 모델링 기초
2.1 BoW
2.2 단어 임베딩
2.3 바이트 페어 인코딩
2.4 언어 모델
2.5 카운트 기반 언어 모델
2.6 언어 모델 평가
2.6.1 혼잡도
2.6.2 ROUGE
2.6.3 사람의 평가

3장 순환 신경망
3.1 엘만 RNN
3.2 미니 배치 경사 하강법
3.3 RNN 구현하기
3.4 RNN 언어 모델
3.5 임베딩 층
3.6 RNN 언어 모델 훈련시키기
3.7 Dataset과 DataLoader
3.8 훈련 데이터와 손실 계산

4장 트랜스포머
4.1 디코더 블록
4.2 셀프 어텐션
4.3 위치별 다층 퍼셉트론
4.4 로터리 위치 임베딩
4.5 멀티헤드 어텐션
4.6 잔차 연결
4.7 RMS 정규화
4.8 키-값 캐싱
4.9 트랜스포머 구현

5장 대규모 언어 모델
5.1 규모가 클수록 좋은 이유
5.1.1 대규모 파라미터 개수
5.1.2 큰 문맥 크기
5.1.3 대규모 훈련 데이터셋
5.1.4 대량의 계산량
5.2 지도 학습 미세 튜닝
5.3 사전훈련된 모델 미세 튜닝하기
5.3.1 기준 감정 분류기
5.3.2 감정 레이블 생성하기 |
5.3.3 지시를 따르도록 미세 튜닝하기
5.4 언어 모델의 샘플링
5.4.1 온도를 사용한 기본 샘플링
5.4.2 탑-k 샘플링
5.4.3 뉴클리어스(탑-p) 샘플링
5.4.4 페널티
5.5 LoRA
5.5.1 핵심 아이디어
5.5.2 PEFT
5.6 분류용 LLM
5.7 프롬프트 엔지니어링
5.7.1 좋은 프롬프트의 특징
5.7.2 행동에 대한 후속조치
5.7.3 코드 생성
5.7.4 문서 동기화
5.8 환각 182
5.8.1 환각의 원인
5.8.2 환각 방지
5.9 LLM, 저작권, 윤리
5.9.1 훈련 데이터
5.9.2 생성된 콘텐츠
5.9.3 오픈 웨이트 모델
5.9.4 광범위한 윤리적 고려사항

6장 추가 자료
6.1 MoE
6.2 모델 병합
6.3 모델 압축
6.4 선호도 기반 정렬
6.5 고급 추론
6.6 언어 모델 보안
6.7 비전 언어 모델
6.8 과대적합 방지
6.9 맺음말
6.10 저자의 다른 책


『LLM 미세 튜닝, 핵심만 빠르게!』
옮긴이의 글
지은이의 글

0장 대규모 언어 모델 미세 튜닝 레시피
들어가며
0.1 양자화된 베이스 모델 로드하기
0.2 LoRA 설정하기
0.3 데이터셋 포매팅하기
0.4 SFTTrainer를 사용하여 미세 튜닝하기
0.5 모델에 질의하기

1장 대규모 언어 모델
들어가며
1.1 대규모 언어 모델과 소규모 언어 모델
1.2 트랜스포머
1.3 어텐션이 전부입니다
1.4 미세 튜닝의 종류

2장 양자화된 모델 로드하기
들어가며
2.1 양자화 방법
2.2 반정밀도 가중치
2.3 브레인 플로트
2.4 모델 로드하기
2.5 혼합 정밀도
2.6 BitsAndBytes
다음 장에서는

3장 LoRA
들어가며
3.1 파라미터 타입과 그레이디언트
3.2 PEFT
다음 장에서는

4장 데이터셋 포매팅
들어가며
4.1 템플릿 적용
4.2 토크나이저
4.3 데이터 콜레이터
4.4 패킹된 데이터셋
4.5 고급 방법 - BYOT(Bring Your Own Template)
다음 장에서는

5장 SFTTrainer로 미세 튜닝하기
들어가며
5.1 SFTTrainer 미세 튜닝
5.2 SFTConfig
5.3 (진짜) 실제 훈련
5.4 어텐션
5.5 실험 결과, 어블레이션 스타일
다음 장에서는

6장 로컬에 배포하기
들어가며
6.1 모델과 어댑터 로드하기
6.2 모델 쿼리
6.3 llama.cpp
6.4 모델 서빙

-1장 문제 해결
오류
경고

부록 A GPU 포드 설정하기
A.1 runpod.io 활용 주피터 랩 실행
A.2 포드 중지 및 종료
A.3 플래시 어텐션 2 설치
부록 B 데이터 타입의 내부 표현
B.1 정수
B.2 부동소수점 수

찾아보기