- 국내배송만 가능
- 예약상품과 함께 주문 시 제품 출시일에 함께 배송됩니다. (제작사의 사정으로 출시 지연 가능)
- 문화비소득공제 가능
이 상품의 시리즈 5
이 상품의 시리즈 알림신청
이 상품의 태그
상세 이미지
책소개
목차
|
CHAPTER 0 LLM이 만들어지기까지
0.1 구성 요소 0.2 LLM의 사전 학습 0.3 LLM의 사후 학습 [PART I 기본편: CodeBot 만들기] I.1 개발 흐름 I.2 사전 학습 I.3 SFT(지도 파인튜닝) I.4 강화 학습 CHAPTER 1 토크나이저 (기본편) 1.1 문자 단위 토큰화 1.2 바이트 단위 토큰화 1.3 BPE의 학습 알고리즘 1.4 BPE를 적용한 인코딩과 디코딩 1.5 특수 토큰 대응 1.6 사전 토큰화 1.7 TinyCodes를 이용한 학습 1.8 토크나이저 평가 1.9 TinyCodes 인코딩 1.10 정리 CHAPTER 2 모델 (기본편) 2.1 어텐션 기본 원리 2.2 어텐션의 수식과 구현 2.3 어텐션 스케일링 2.4 트랜스포머 기본 구조 2.5 위치 인코딩 2.6 어텐션 마스크 2.7 밸류 변환 행렬 효율 개선 2.8 멀티헤드 어텐션 2.9 트랜스포머 블록 2.10 GPT-2 2.11 정리 CHAPTER 3 학습 (기본편) 3.1 사전 학습 3.2 텍스트 생성 3.3 SFT(지도 파인튜닝) 3.4 SFT 모델과 나누는 대화 3.5 강화 학습과 언어 모델 3.6 정책 경사법 3.7 베이스라인 3.8 오프-정책과 클리핑 3.9 GRPO 3.10 정리 [PART II 응용편: StoryBot 만들기] II.1 데이터셋 II.2 개발 흐름 CHAPTER 4 토크나이저 (응용편) 4.1 BPE 학습 개선 ①: 중복 제거 4.2 BPE 학습 개선 ②: 부분 갱신 4.3 BPE 학습 개선 ③: 분할 처리 4.4 BPE 학습 개선 ④: 병렬화 4.5 토크나이저 평가 4.6 BPE 인코딩 개선 ①: 고속 병합 4.7 BPE 인코딩 개선 ②: 대규모 데이터 처리 4.8 정리 CHAPTER 5 모델 (응용편) 5.1 RoPE 5.2 SwiGLU 5.3 RMSNorm과 그 밖의 개선 5.4 개선된 GPT 구현 5.5 KV 캐시 5.6 정리 CHAPTER 6 학습 (응용편) 6.1 AdamW의 원리 6.2 AdamW 구현 6.3 학습률 스케줄 6.4 혼합 정밀도 6.5 사전 학습 (개선 버전) 6.6 텍스트 생성과 모델 평가 6.7 RLHF와 DPO 6.8 DPO 구현 6.9 정리 [PART III 도전편: WebBot 만들기] III.1 데이터셋 III.2 개발 흐름 CHAPTER 7 토크나이저 (도전편) 7.1 WebBot의 토크나이저 7.2 병목 지점 찾기 7.3 러스트와 C++를 이용한 속도 개선 7.4 특수 토큰 추가 7.5 다른 토크나이저 7.6 토크나이저를 사용하지 않는 접근법 7.7 정리 CHAPTER 8 모델 (도전편) 8.1 모델 크기 선택 8.2 FlashAttention 8.3 Grouped-Query Attention(GQA) 8.4 전문가 혼합(MoE) 8.5 torch.compile 8.6 컨텍스트 길이 확장 8.7 정리 CHAPTER 9 학습 (도전편) 9.1 기울기 누적 9.2 기울기 체크포인트 9.3 분산 학습 9.4 ZeRO 9.5 Muon 옵티마이저 9.6 Weights & Biases 9.7 WebBot 학습과 생성 결과 9.8 정리 APPENDIX A UTF-8 인코딩의 원리 APPENDIX B 어텐션의 스케일링 효과 증명 APPENDIX C 베이스라인을 적용한 정책 경사 추정량의 불편성 증명 APPENDIX D Adam의 편향 보정 APPENDIX E DPO의 최적해 유도 |
저자 소개 2
齋藤康毅
1984년 나가사키 현 쓰시마 출생. 도쿄공업대학교 공학부를 졸업하고 도쿄대학대학원 학제정보학부 석사 과정을 수료했다. 현재는 기업에서 인공지능 관련 연구·개발에 매진하고 있다. 『밑바닥부터 시작하는 딥러닝』 시리즈 집필 외에 『파이썬 인 프랙티스』, 『밑바닥부터 만드는 컴퓨팅 시스템』, 『Building Machine Learning Systems with Python』 등을 일본어로 옮겼다.
사이토 고키의 다른 상품
이복연
고려대학교 컴퓨터학과를 졸업하고 삼성전자에서 자바 가상 머신, 스마트폰 플랫폼, 메신저 서비스 등을 개발했다. 주 업무 외에 분산 빌드, 지속적 통합, 앱 수명주기 관리 도구, 애자일 등 동료 개발자들에게 실질적인 도움을 주는 일에 관심이 많았다. 그 후 창업전선에 발을 들여 좌충우돌하다가 개발자 커뮤니티에 기여하는 더 나은 방법을 찾아 출판 시장에 뛰어들었다. 『밑바닥부터 시작하는 딥러닝』 시리즈, 『구글 엔지니어는 이렇게 일한다』, 『리팩터링 2판』, 『JVM 밑바닥까지 파헤치기』, 『이펙티브 자바 3판』 등을 번역했다.
개앞맵시의 다른 상품
품목정보
- 발행일
- 2026년 08월 03일
- 쪽수, 무게, 크기
- 400쪽 | 183*235*16mm
- ISBN13
- 9791175790957
출판사 리뷰
|
『밑바닥부터 시작하는 딥러닝』 시리즈 최신작,
블랙박스 속 LLM의 구조를 완전한 코드로 지배하다 딥러닝의 기초부터 프레임워크 개발까지 수많은 엔지니어의 뼈대가 되어 준 『밑바닥부터 시작하는 딥러닝』 시리즈가 여섯 번째 이야기로 돌아왔습니다. 전 세계를 뒤흔든 LLM의 시대, 글로벌 빅테크가 제공하는 API를 단순히 가져다 쓰는 개발자와 언어 모델의 내부 메커니즘을 완벽히 통제하는 엔지니어의 차이는 결국 ‘바닥부터 쌓아 올린 기본기’에서 나뉩니다. 이 책은 외부 프레임워크나 기존 토크나이저 라이브러리에 일절 의존하지 않고, 순수 파이썬과 파이토치만으로 BPE 토크나이저 구축부터 디코더 전용 트랜스포머 아키텍처, SFT(지도 파인튜닝) 그리고 최신 GRPO/DPO 강화 학습까지 LLM의 핵심 본질을 한 땀 한 땀 직접 코드로 구현하며 파헤칩니다. 소형 파이썬 코드 생성 챗봇(CodeBot)을 시작으로 창의적인 이야기꾼(StoryBot) 그리고 웹 크롤링 기반의 대규모 모델(WebBot)로 확장되는 단계별 로드맵을 따라가다 보면, 추상적인 수식과 논문 속에 가려져 있던 LLM의 블랙박스가 명쾌하게 해제되는 기술적 쾌감을 경험하게 됩니다. RoPE, SwiGLU, KV 캐시, FlashAttention 등 현대적 GPT 최적화 기법은 물론, DeepSeek-R1이 증명한 최신 추론 모델의 핵심인 GRPO 강화 학습까지 내 손으로 직접 완성해 보세요. ‘믿고 보는 밑시딥’이라는 명성에 걸맞게, API 명세서 뒤에 숨은 블랙박스를 넘어 앞서가는 AI 엔지니어로 도약하기 위한 가장 확실하고 강력한 징검다리가 되어 줄 것입니다. |
추천평
|
인공지능의 알고리즘을 예제와 더불어 쉽게 알려 주는 『밑바닥부터 시작하는 딥러닝』 시리즈가 이번에는 실제로 LLM의 동작에 필요한 구조를 직접 구현해 보며 학습할 수 있는 기회를 제공합니다. 최근에 활발히 연구되는 주제인 만큼 처음 접하는 사람에게는 진입 장벽이 있을 수 있으나, 기본적인 동작 원리를 직접 구현하면서 공부할 수 있어 배움에 더 깊이 몰입할 수 있었습니다. 더불어 강화 학습과 연계한 재학습 그리고 한층 심화된 주제를 다룬 후반부의 도전편 덕분에 다양한 수준의 독자에게 고루 도움이 되는 책입니다. - 강찬석 (LG전자 소프트웨어 엔지니어(AI 스페셜리스트))
|
|
세 개의 봇을 차례로 만들며 LLM을 구축하고 학습하는 전 과정을 다룹니다. CodeBot 파트에서는 BPE 토큰화에서 시작해 GPT-2 기반 트랜스포머를 직접 구현하고, SFT와 GRPO까지 이어가며 사전 학습 이후의 후속 학습을 다룹니다. StoryBot 파트에서는 BPE 개선부터 현대적인 LLM 구조와 학습 최적화 기법, RLHF, DPO까지 폭넓게 살펴봅니다. 구현, 최적화, 후속 학습이 파트별로 한 세트처럼 반복되는 구성 덕분에 각 기법이 왜 필요하고 어디에 적용되는지를 자연스럽게 이해할 수 있어 좋았습니다. 마지막 WebBot 파트에서는 웹에서 수집한 데이터로 152M 파라미터 모델을 사전 학습하는데, H100 한 장에서 훈련을 마치는 데 약 10시간이 걸렸습니다. LLM을 이론으로만 이해하는 데 그치지 않고, 밑바닥부터 직접 구현하며 전체 과정을 이해하고 싶은 분에게 추천합니다. - 김동억 (데이콘인피니티 소프트웨어 엔지니어)
|
|
GPT-3.5가 등장한 이후로 AI는 개인이나 학교, 웬만한 규모의 기업으로는 넘보기 어려운 영역이 되었습니다. 사람과 기술, 자본이 어마어마하게 모이거나 국가 차원의 전략이 뒷받침되어야 겨우 명함이라도 내밀 수 있을 만큼, 글로벌 빅테크 기업의 지배력이 독보적인 분야가 되어 버린 셈입니다. 그렇게 전 세계가 미국 중심의 빅테크에 종속되는 듯 보이던 흐름 속에서, DeepSeek과 KimiK3 그리고 국내 독자 파운데이션 모델들이 ‘천문학적인 자금과 대규모G PU가 필수’라는 통념을 깨고 프론티어 모델에 근접한 성능에 도달한 것은 무척 고무적인 일입니다. 여기에는 여러 이유가 있겠지만, 그 출발점은 결국 탄탄한 기본기가 아니었을까 짐작해 봅니다.
AI의 기본기를 익히는 데 『밑바닥부터 시작하는 딥러닝』 시리즈만 한 책이 또 있을까요. 여섯 번째 이야기인 이번 책은 현대적인 LLM의 원리를 한 땀 한 땀 직접 만들어 가며 이해하는 여정을 담고 있습니다. 책에서 구현하는 모델은 GPT-2 수준이라 요즘 주로 쓰는 모델과 성능을 견주기는 어렵지만, 트랜스포머를 바탕으로 현대 LLM이 갖춰야 할 기본적인 기술과 기법을 두루 다뤄 볼 수 있습니다. 개인적으로는 지금까지 나온 시리즈를 통틀어 이번 책이 가장 흥미진진했습니다. 모델과 원리에 충실했던 지난 시리즈보다(프레임워크 개발을 다룬 3권은 제외) 조금 더 실용적인 개념과 기법을 익힐 수 있어 현업으로 건너가는 든든한 징검다리가 되어 줄 좋은 지침서입니다. - 김용회 ((주)케이에스피아이 대표이사) |
|
이번 6권은 대세가 되어버린 LLM을 『밑바닥부터 시작하는 딥러닝』 시리즈가 지향해 온 바처럼 밑바닥부터 직접 만들어 보면서 관련 지식을 확인할 수 있는 책입니다. 딥러닝 논문에 나오는 수학 공식들이 그저 검은 것은 글자요, 흰 것은 배경이었는데 책에 나온 구현을 통해 수식의 의미를 되짚어 볼 수 있었습니다. 이 책의 진가는 깃허브에서 코드를 받아 책을 따라 천천히 분석하며 따라 해 보는 데서 드러납니다. 책을 보며 한 줄 한 줄 코드를 음미하고 직접 입력해 보면 더욱 좋습니다. 오감만족까지는 아니지만 지식을 습득하고 무언가를 만들어 낸다는 쾌감에서 오는 만족이 상당합니다. ‘백문이 불여일견’ 대신 ‘백문이 불여일행’은 이 책을 두고 하는 말이 아닐까 생각합니다. - 윤병조 (소프트웨어 개발자)
|
|
AI는 이미 일상 깊숙이 자리 잡았습니다. 이제 많은 이들의 관심은 ‘어떻게 하면 AI를 더 잘 활용할 것인가’로 옮겨 가고 있습니다. 남들과 다른 결정적 차이는 기술을 바닥부터 제대로 이해하는 데서 나옵니다. 원리에 대한 깊은 이해가 선행될 때 비로소 AI를 완성도 높게 다룰 수 있고, 이는 개인의 경쟁력을 끌어올리는 강력한 무기가 됩니다.
이 책은 급변하는 AI 시대에 맞춰 기본 원리부터 차근차근 다져 주는 가이드북입니다. 빠르게 변화하는 기술 흐름 속에서도 놀라울 만큼 최신 트렌드를 따라잡고 있습니다. 새로운 시대를 주도하고 싶은 모든 분께 일독을 권합니다. - 이효성 (코스콤 AI 엔지니어) |
|
『밑바닥부터 시작하는 딥러닝 6』은 블랙박스 속에 가려져 있던 LLM의 본질을 세밀하게 들여다보고 실습해 볼 수 있는 최고의 학습 안내서입니다. 직관적인 설명과 깔끔한 소스 코드로 트랜스포머와 토크나이저, 사전 학습, SFT, DPO/GRPO로 이어지는 기술까지 이해하기 쉽게 설명합니다. CodeBot에서 시작해 StoryBot, WebBot까지 실습을 따라가다 보면, ‘왜 RoPE를 쓰는가?’, ‘KV 캐시가 어떻게 추론을 고속화하는가?’, ‘강화 학습 없이 어떻게 모델에 선호도를 학습시키는가?’라는 질문에 대해 깊이 있는 이해와 실질적인 인사이트를 얻게 될 것입니다. 내 손으로 AI 모델을 키워 나가는 특별한 경험을 직접 느껴보고 싶은 모든 분에게 이 책의 일독을 추천합니다. - 전준규 (농협정보시스템 프로젝트 매니저)
|
