“만들 수 없다면, 진정으로 이해한 것이 아니다.” - 리처드 파인만

LLM을 이해하는 가장 좋은 방법은 밑바닥부터 직접 구현해 보는 것이다

이름에서 알 수 있듯이 LLM(Large Language Model)은 매우 큰 모델이다. 하지만 규모가 크다고 해서 LLM을 블랙박스처럼 생각할 필요는 없다. 파인만의 말처럼 무언가를 진정으로 이해하려면 직접 만들어보는 것이 가장 좋다. 이 책을 통해 단계별로 LLM을 구축하는 방법을 배우자. 기존의 다른 LLM 라이브러리를 사용하지 않고 직접 베이스 모델을 개발하고, 이를 텍스트 분류기로 발전시킨 뒤 궁극적으로 나의 대화 지시를 따르는 챗봇을 만들어보자. 모델 구축의 계획을 짜고 코딩하는 것부터 시작해 모델 훈련과 미세 튜닝에 이르기까지 모든 단계를 다룰 것이다. 이 책을 다 읽고 나면 ChatGPT와 같은 LLM의 동작 방식을 근본적인 수준에서 확실하게 이해하게 될 것이다.

[이 책에 담긴 내용]

■GPT-2와 유사한 LLM을 기획하고 개발하기
■텍스트 분류를 위해 LLM을 미세 튜닝하기
■사전 훈련된 가중치 로드하기
■사람의 지시를 따르는 LLM 개발하기
■완전한 훈련 파이프라인 구축하기

워크북도 함께 제공! 좀더 쉽고 명확하게 이해해보자!

이 책의 학습 방법, 즉 직접 스스로 모델을 만들어보는 것은 대규모 언어 모델의 동작 방식을 근본부터 배울 수 있는 가장 좋은 방법이다. 이를 위해 명확한 설명, 그림, 코드를 담았지만, 다루는 주제가 복잡하기 때문에 어렵게 느껴질 수 있다. 조금 더 쉽고 명확하게 이해할 수 있도록 워크북을 준비했다. 이 워크북은 『밑바닥부터 만들면서 배우는 LLM』의 구성을 따라가며 각 장의 핵심 개념을 다루고 선다형 퀴즈, 코드와 핵심 개념에 대한 질문, 깊게 생각하고 길게 답변해야 하는 질문 등으로 스스로를 테스트할 수 있다. 물론 질문에 대한 답변도 함께 실었다. 본문을 읽기 전이나, 읽은 후, 시간을 두고 반복 학습을 하고자 할 때 등 다양하게 활용하면서 배운 지식을 확실하게 익히자.

[지은이 서문]

저는 기본 개념과 관련된 코드를 작성하는 데 자신감을 갖는 것이 이 분야에서 성공하는 데 중요하다고 생각합니다. 이는 버그를 수정하고 성능을 향상하는 것뿐만 아니라 새로운 아이디어를 실험하는 데도 도움이 됩니다. 제가 몇 년전 처음 LLM을 접했을 때는 이를 구현하는 방법을 어렵게 배웠습니다. 전체적인 내용을 이해하기 위해 많은 연구 논문과 불완전한 코드 저장소를 뒤져야 했습니다. 이 책에서는 LLM의 주요 구성 요소와 개발 단계를 상세히 설명하는 단계별 튜토리얼을 제공합니다. 이를 통해 LLM을 쉽게 이해할 수 있으면 좋겠습니다.

LLM을 이해하는 가장 좋은 방법은 밑바닥부터 직접 구현해 보는 것이라 굳게 믿고 있습니다. 이게 재미도 있다는 것을 알게 될 거예요! 즐거운 독서와 코딩이 되시길!

[옮긴이 서문]

LLM을 이해하는 가장 좋은 방법은 밑바닥부터 직접 구현해 보는 것이라는 저자의 말에 동감합니다. 특히 컴퓨터 과학과 머신러닝에서는 이런 학습 방법이 효과적입니다. 엔지니어로서 저는 여전히 도구의 작동 방식에 호기심이 더 많습니다. 아마 이 책을 든 여러분도 저와 비슷할지 모르겠습니다. 이 책을 따라 파이토치로 벽돌을 하나씩 차곡차곡 쌓아 LLM 탑을 완성해 가다 보면 지금 시대의 인공지능과 LLM이 어떤 수준에 도달했는지 명확하게 알 수 있습니다.

LLM의 구조를 샅샅이 분해하다 보면 LLM은 실제 추론을 하는 게 아니라 사후 합리화를 위해 추론을 하는 것 같은 텍스트를 생성한다는 주장에도 고개를 끄덕이게 됩니다. 추론이라는 것은 본질적으로 무엇일까요? 사람은 기계와 달리 어떻게 차별화될까요? 우리가 풀지 못한 문제가 아직 너무 많습니다. 앞으로도 이 분야는 흥미롭고 신비로운 일들이 끊이지 않을 것임에 틀림없습니다.

[베타리더 후기]

트랜스포머 구조와 LLM을 이처럼 쉽게 풀어낸 설명을 거의 찾아볼 수 없었습니다. 특히 단계별 실습을 제공한다는 점이 저에게 큰 도움이 되었습니다. 기초를 튼튼히 다질 수 있다는 점에서 모든 AI 개발자에게 이 책을 추천합니다.
- 김병규 | 아이브릭스 AI 서비스 개발자

GPT 구조와 학습 과정이 실제 구현 단계와 함께 설명되어 있어, ChatGPT 같은 모델이 어떤 원리로 동작하는지 감을 잡을 수 있었습니다. LLM에 대한 지식이 전혀 없던 저에게, 이 책은 기본 개념부터 실제 활용까지 체계적으로 쌓을 수 있도록 도와준 유익한 길잡이였습니다.
- 김준호 | 에스에스지닷컴 백엔드 개발자

개념 설명과 실습이 함께 구성되어 있어, LLM 개발에 대한 두려움과 진입 장벽을 크게 낮춰 주는 책이라고 생각합니다.
- 김민선 | 한국수자원공사 데이터 관리

모든 소스를 구글 코랩에서 직접 실습할 수 있도록 해두었는데, 이러한 배려 덕분에 읽으면서 실습할 수 있는 환경이 마련되어 있다는 점이 특히 만족스러웠습니다. 무엇보다 제공되는 소스에 오류가 없다는 점이 인상적이었습니다. 이론과 실습을 병행하며 이해할 수 있도록 구성되어 있어 LLM이 어떻게 동작하는지 근본적인 원리를 알고 싶은 분께 이 책을 적극 추천합니다.
- 김종열 | 에코시스템 솔루션사업부 팀장

LLM의 기초 개념부터 출발해 실제 코드를 다뤄 보는 핸즈온(Hands-on) 실습을 통해 심화 내용까지 자연스럽게 이어집니다. 기초부터 차근차근 쌓아 올려 원리를 깊이 이해할 수 있도록 돕는 훌륭한 안내서입니다.
- 추상원 | GOTROOT Pentester

연구 논문의 아이디어 형성 과정까지 엿볼 수 있어 학문적으로도 영감을 얻을 수 있으며, 연구 수준의 추상적 개념을 기초부터 직접 구현함으로써 논문의 난해한 부분을 명쾌하게 이해할 수 있습니다. 방대한 내용을 다루면서도 코드 오류가 없어 내용에 몰입할 수 있고, 파이토치 중심의 직관적인 코드 구현은 실무 활용에도 큰 도움이 됩니다.
- 허민 | 한국외국어대학교 정보전략팀 AI 개발 및 전략기획

파이토치에 익숙하지 않은 사람도 무리 없이 따라올 수 있도록 배려한 구성이 인상적이었습니다. LLM의 기초 이론부터 실제 모델 구현, 실무적인 미세 튜닝 방법까지 LLM 개발의 전 과정을 완벽하게 아우르는 최고의 실전 가이드입니다.
- 강경목 | 한국썸벧(하림그룹 계열) 부장(팀장)·경영학 박사

단순히 LLM을 활용하는 법을 넘어, 직접 구현하며 이해할 수 있도록 돕는 훌륭한 책입니다.
- 이진 | 경동나비엔 개발팀 데이터 사이언티스트

트랜스포머의 셀프 어텐션 메커니즘을 단계별로 설명합니다. LLM과 GPT 모델의 내부 시스템 작동 방식에 대한 직관을 키우고 싶다면 꼭 읽어봐야 할 책입니다.
- 아마존 독자 리뷰

저자가 모든 코드를 제공하고, 쉽게 따라 할 수 있습니다. 코드를 쉽게 수정하고, 많은 것을 배울 수 있습니다. LLM의 작동 방식을 배우고 싶다면 최고의 투자입니다.
- 아마존 독자 리뷰