자연어 처리(NLP) 분야는 최근 **대규모 언어 모델(LLM)**의 발전과 함께 빠르게 성장하고 있으며, 이 책은 기초부터 고급 AI 모델 설계 및 비즈니스 응용까지 체계적으로 다루고 있어 매우 유용한 학습 자료입니다.

이 책의 가장 큰 장점은 이론과 실전 구현의 균형입니다. 단순한 개념 설명이 아니라, 선형대수, 최적화, 확률, 통계 등 머신러닝에 필수적인 수학적 기초를 탄탄하게 다진 후, 이를 기반으로 실제 NLP 모델을 구현하는 과정을 설명합니다. 특히, 머신러닝 기법이 자연어 처리에 어떻게 적용되는지를 명확히 보여주기 때문에, 초보자와 전문가 모두에게 가치 있는 내용을 제공합니다.

또한, 대규모 언어 모델(LLM)과 AI 응용 프로그램을 다루면서 최신 NLP 기술 트렌드도 함께 소개하고 있어, NLP를 처음 접하는 독자에게는 흐름을 이해하는 데 도움이 되고, 경험자에게는 전체적인 개념을 정리하고 미래 전망을 살펴볼 기회를 제공합니다.

NLP에 관심 있는 누구에게나 추천할 만한 책이며, 특히 파이썬을 활용해 직접 구현하며 배우고 싶은 분들에게 필수적인 참고서가 될 것입니다. 기초부터 응용까지 자연어 처리의 전반을 학습하고 싶은 분들에게 강력 추천합니다!

"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

박조은 님께서 번역해주셨다. 어디서 많이 들어봤는데...

박조은 님은 구독자 2만이 넘는 유튜브 오늘 코드를 운영하고 있다.

https://www.youtube.com/@todaycode

유튜브에는 이 책에 대한 일부 강의도 올려주시고 있다.

책의 내용에 대한 실제 코드는 아래의 깃허브에서 코랩 링크를 찾을 수 있다.

https://github.com/corazzon/Mastering-NLP-from-Foundations-to-LLMs

요즘엔 책 하나에 얽힌 다른 소스들이 많아서 먼저 소개부터 했다.

이제, 이 책에 대해 조금 리뷰하고자 한다.

하나의 개념에 대해 깊게 고민들어가는 책이 아니다.

NLP와 LLM 에 대한 전체적인 설명이다. 

역사적으로 중요한 관점과 개념적으로 필요한 부분을 적어놓아서 이 분야의 전체적인 흐름을 파악하기 좋았다.

자세히 알고 싶다면 각자가 조금 더 찾아봐야한다.

책에 소개되는 RAG , Langchain 등은 이미 수많이 다른 책에서 언급되고 자료가 많으니 넘기겠다.

내가 흥미롭게 본 부분은 9.6 절의 다중에이전트이다.

다중에이전트는 최근에 대규모 언어 모델 분야에서 주목받는 기술이라고 한다.

챗 GPT 처럼 사용자가 단일 대규모 언어 모델과 직접 상호작용하는 대신, 여러 대규모 언어 모델을 설정한 뒤 각 모델에 고유한 시스템 프롬프트를 부여해 각기 다른 역할을 맡긴다.

이로 인해, 기존 응답이 재검토 되면서 환각이 감소된다.

또한 각각의 모델이 맡은 롤(백엔드 엔지니어, 프론트 엔지니어, 인프라 엔지니어 등)에 특화된 소형 모델을 만들면 소모되는 자원도 아끼고 정제된 결과를 얻을 수 있다.

유튜브에서 강의 영상이 있으니 한번 보길 바란다.

https://www.youtube.com/watch?v=qU68asZ2ksY&list=PLaTc2c6yEwmrNTO7vWp50vRMvtwjrZ-Lr&index=9

코드는 여기서 확인할 수 있다. (autogen으로 openai 말고도 ollama 를 활용한 로컬 모델도 사용할 수도 있다.)

https://colab.research.google.com/github/corazzon/Mastering-NLP-from-Foundations-to-LLMs/blob/main/Chapter9_notebooks/Ch9_Completing_a_Complex_Analysis_with_a_Team_of_LLM_Agents.ipynb

AutoGen 이 어떻게 활용될 수 있는지에 대한 설명도 있는데, 생각보다 업무에 적용할만한 부분들이 보인다.

개인적으로 AI 책에서 가장 중요하게 보는 부분인 트렌드도 있다.

다른 책에서 잠깐 보는 것과 달리

다양한 측면에서의 트렌드와 전문가의 인터뷰까지 담겨있다.

AI 를 개발하는 입장에서 이러한 부분이 도움이 많이 되는 것 같다.

개념을 정리하고 인사이트를 얻기에 좋은 책이었다. 

구성

느낌

"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다."
 
머신러닝에서 나아가 딥러닝도 이제 필수적인 업무 요소인 것 같다.
다만, 모든 사람이 파이썬 명령어를 이해하고, 데이터를 효율적으로 분석하는 레벨까지 알아야 하는 건 아니라고 생각한다.
기초 통계지식과 각각의 알고리즘 기법들의 특징을 이해하고, 최소한의 파이썬 지식으로도 효과적으로 데이터 사이언티스트와 업무협업을 할 수 있는 정도만이라도 갖추면 된다. (이것도 어렵다)
 
인문학 전공학생에게 프로그래밍 기초를 학습하게 하는 것도 같은 맥락일 것이다.
이 책은 그런 니즈를 충분히, 잘 충족시켜주는 책이다.
 
CH2 머신러닝과 자연어 처리를 위한, 선형대수, 확률, 통계 마스터하기
CH3 자연어 처리에서 머신러닝 잠재력 발휘하기
CH4 자연어 처리 성능을 위한 텍스트 전처리 과정 최적화
CH5 텍스트 분류 강화: 전통적인 머신러닝 기법 활용하기
CH6 텍스트 분류의 재해석 : 딥러닝 언어 모델 깊게 탐구하기
CH7 대규모 언어 모델 이해하기
CH8 대규모 언어 모델의 잠재력을 끌어내는 RAG 활용 방법
 
자연어처리(NLP)와 대규모 언어모델(LLM)의 이해라는 큰 목표를 두고, 기초부터 설명이 자세하다.
예를들어 3장에서 서포트 벡터 머신을 설명은 겨우 2page뿐이다. 하지만 가장 핵심적인 설명과 그림을 통해 결정경계를 설명하고, 장점과 단점을 간략히 설명하다.
어렴풋이 알고있었지만, 다시 상기시키기에 딱 좋을만큼의 분량을 저자가 잘 찾아냈다.
 
6장부터 본격적으로 언어모델을 설명한다. 트랜스포머(자연어 처리에서 순차 데이터를 더 효과적으로 처리할 수 있는 새로운 구조)의 아키텍처 부터 셀프 어텐션 메커니즘에 대한 설명까지 핵심 내용을 다 터치하고 넘어간다. (6장부터는 앞장까지의 기초지식이 없다면 어려울 수 있다)
 
다행인건 모든 챕터마다 “기술 요구사항”과 “요약”을 제공하는 점이다. 설렁설렁 필요한 내용을 찾아보기 위한 책이 아니라, 본격적인 NLP와 LLM을 “학습”의 영역으로 가져가기 위한 책이다.
 
그래서 전체적인 AI에 대한 이론적 지식습득을 위한 분들께 추천하고 싶다.
 
대부분의 책이 파이썬에 비중을 두거나, 구체적인 알고리즘의 동작과정을 설명하는데 집중하는데 반해, 이 책은 그런 기초를 넘어선 다음 레벨을 원할 때 필요하다. 데이터 전문가에겐 코드도 제공하지만, 상대적으로 데이터 전문가와 일하는 비즈니스 현업에게 적합한 책이다.
 
반복해서 읽고 공부하고 싶은 책이다.
 
딥러닝을 코드 베이스로 접근한다면 “밑바닥부터 시작하는” 시리즈를 추천한다.

LLM의 등장에 이르는 거의 모든 기술을 담고 있어 놀라웠다. 한 눈에 NLP의 기술들을 파악하기에 용이한 책.

기초 수학에서 최근의 멀티 에이전트에 이르는 방대한 NLP의 기술을 총망라한 책이다. 책 제목이 실전 가이드라는 표현을 담고 있지만 원서 제목인 “Mastering NLP from Foundations to LLMs”이 내용에 더 부합한 것 같다. 논문으로 따지면 리뷰 논문 같은 책이다.

유사 주제를 담고 있는 다른 책들과 비교하여 이 책만이 가지는 도드라진 특징이 두가지 있다.

하나는, NLP의 방대한 역사와 기술을 한 눈에 파악할 수 있게 일목요연하게 정리되어 있다는 점, 다른 하나는 광기의 속도로 진화하는 AI의 변화속에서 인간의 역할인 본질의 이해를 돕는다는 점이다.

책의 굵기 대비 NLP에 활용되는 기술을 핵심만 컴팩트하게 담아낸 점에 대해서는 저자께 경의를 표한다. 비록 분량상 매우 핵심 개념만 담고 있다는 한계가 있지만 정말 중요한 개념은 모두 소개되고 있다.

따라서 이 책의 독자로 적합한 사람은 NLP의 거대한 산을 조망할 필요가 있는 전략 기획 파트 종사자, 경영진, 특정 시점에서 배움의 흐름이 끊긴 NLP 분야 도전자 정도가 가장 어울릴듯 싶다. 하지만 AI의 본질을 이해하는 데 도움을 주기 때문에 어느 독자가 읽어도 많은 도움을 얻을 수 있을듯 하다.

실력 좋은 박조은님이 번역한 점도 마음에 든다. 예전 공공 데이터 분석 인프런 라이브 코딩 기반 강의를 수강하며 참 Python을 잘 다루는 분이라 감탄한 기억이 있다. AI와 관련된 지식도 해박한 분이기에 번역도 매끄럽고 가독성이 좋다.

책은 크게 두 파트의 내용으로 나뉜다. 1~7장은 현시점 LLM의 등장에 기여한 기초지식 또는 다소 시간이 지난 기술 등이 소개되고 있고, 8~11장은 SOTA 기술 및 미래에 대한 전망 등이 담겨있다. 실전적인 측면에서도 후반부는 실전적인 기술들이 담긴 반면, 전반부는 핵심 기초 개념을 담고 있다.

현시점 AI는 세상에서 가장 관심받는 화두인 것 같다. 그 거창함과 따를 수 없는 변화의 속도에 지레 겁먹곤 하지만 내가 파악한 AI의 본질은 정량화 범위의 확대, 비정형 데이터 해석 능력의 확대, 멀티모달의 등장 정도로 요약할 수 있을것 같다.

정량화 범위의 확대라는 개념은 그동안 정성적인 분야로 수치 측정이 불가능한 그래서 컴퓨터가 해석할 수 없는 영역의 데이터가 상당 부분 정량화 되었다는 뜻인데 본 도서에서 다루는 NLP 분야의 눈부신 발전이 대표적인 사례이다.

바둑을 좋아하는 나로써는 대국의 해설을 종종 즐겨듣곤 하는데 해설가들이 쓰는 표현이 묘할 때가 많다.

“지금과 같은 상황에서는 A, B, C 정도에 착점을 할 수 있겠는데, 제 경험으로는 A자리가 일감이 있는 것 같습니다. 이리저리해서 충분한 한판의 그림이 그려집니다.”

여기서 “일감“이라는 단어가 재미있는 표현인데 이게 그냥 단순히 감각이라고 말하기도 뭣하다. 나름 해설가의 수많은 대국 경험 속에 뇌에서 판단한 최적화된 최선의 수가 도출된 것인데 그렇게 따지면 또 데이터 드리븐의 정량적인 판단이기도 하다.

알파고의 성공 요인은 이 애매한 감각 혹은 정성적인 영역을 철저하게 정량화 시켰다는 데 있다고 본다. 또 다른 관측 단서가 제공되었을 때 변화 무쌍하게 변화하는 인간의 사고 과정을 베이즈 추론이나 조건부 확률로 정량화 한 그런 느낌과 유사한 과정이다.

NLP의 핵심 또한 인간과 기계 사이의 경계선에 얼마나 서로 다가갈 수 있느냐의 싸움인데 - 더 정확히는 기계가 홀로 삼팔선에 다가오는 형국이지만 - 트랜스포머와 같음 모델이 그 경계선을 상당히 좁혔다고 평하고 싶다.

이 책의 전반부를 읽으면 그 경계선에 도달하기 위해 NLP 분야 종사자가 얼마나 치열하게 고찰하고 노력해 왔는지 알 수 있다.

코사인 유사도와 유클리드 거리와 같은 수학의 기초 개념은 두 개념간의 유사성을 판단하는 데 활용되고, 컴퓨터 공학 분야를 필두로 자연어를 숫자로 표현해내는 방법이 다양해졌다.

선형대수는 두 벡터의 연산을 가능하게 해준다. 벡터의 덧셈은 벡터의 각도와 길이를 변화시키고, 내적은 벡터사이의 각도를 스칼라값으로 변환시켜주며, 노름은 길이를 구해준다. 다양한 데이터를 가진 행렬은 고유 벡터로 단순화 가능하며 PCA나 SVD 등을 활용해 분해도 가능하다.

이런 방대한 데이터들은 GPU 중심의 컴퓨팅 파워를 통해 병렬로 빠른 연산이 가능해졌다. 다양한 학제 분야가 만나 거대한 가능성을 열어준 셈이다.

또한, 딥러닝을 활용한 대부분의 모델은 확률 모델이다. 이를 위해 확률 및 통계 분야의 그간의 업적이 큰 빛을 발한다. MLE와 같은 개념은 베이지안 추정이나 조건부 확률을 활용하여 LLM의 질의에서 또 다른 단서가 주어졌을 때 유저가 원하는 최선의 확률을 판단하는데 쓰이는 개념이다.

이러한 기초 개념들에 날개를 달아주는 것은 역시 AI이다. 머신러닝과 딥러닝의 등장으로 NLP는 더 이상 꿈의 기술이 아니게 되었다. 이 책에서는 특성공학부터 시대의 주류를 담은 SVM 등 다양한 모델의 핵심 개념이 소개된다. 하이퍼 파라미터 미세조정에서 전통 통계학에서 다루는 불균형 데이터 다루는 스킬이나 스태킹 같은 여러 모델을 비교 검증하는 개념도 담고 있다.

4장에서는 전처리 과정도 상당 부분 할애하여 정리하고 있는데 오늘날에는 딥러닝과 LLM의 등장으로 전처리 자체에 큰 의미는 없다고 본다. 불용어 또한 나름의 맥락과 정황을 담고 있는 소중한 정보이기에 전통 방식의 전처리를 거치면 오히려 성능이 저하된다.

그럼에도 이 파트는 BERT같은 모델의 핵심을 파악하는데 도움이 된다. 오늘날에는 GPT 중심의 Decoder-Only가 대세가 되었지만, 이러한 발전이 근간에는 BERT같은 Encoder-Only의 발전이 한 몫하기 때문이다.

임베딩은 자연어를 수치 계산을 가능하게 하는 Vectorization을 가능하게 한다. Word2Vec과 같은 기초 모델의 발생 배경 등을 보며 Vector DB의 등장 배경을 이해할 수 있고, 토픽 모델링 등 그동안 NLP의 주류 발전 현황을 쉽게 파악할 수 있다.

이는 딥러닝을 만나 날개를 다는 데 이 중심에는 트랜스포머가 있다. 특히 셀프 어텐선 계층의 고안은 혁신적이다. 단어마다 병렬로 상대적 중요도를 파악할 수 있게 되면서 문맥의 맥락을 정량화 할 수 있게 되었다.

알파고 이후 딥러닝 진영의 논문을 읽으며 즐겼던 10년 전 즈음의 연구자들은 대부분 느낄 것이다. GRU 모델을 보며 장기기억의 가능성과 한국인 교수의 업적에 나름 짜릿한 희열들이 책을 읽으며 추억으로 지나갔다.

7장에서는 이에 대한 진화로 RLHF와 같은 비교적 최신 기술을 엿볼 수 있다. PPO의 개념이나 보상 모델을 읽다보면 늘 흥미롭다.

이론이나 개념에 지루함을 느끼는 독자라면 8장 이후의 후반부는 꽤 신선하게 다가올 것 같다. 의학이나 법률 등 특정 영역의 지식마저 외부 검색을 통해 할루시네이션을 최소화하는 RAG 기술이나, 자체 데이터를 추가적으로 학습 가능하게하는 LangChain 등의 기술이 등장한다.

소개하는 코드는 베이스 라인 수준의 코드인데 제일 중요한 핵심을 담고 있어 구현체를 작성하는 데 큰 도움이 될 것이다. 하지만 실무에 직접적인 도움을 받고 싶다면 책 서두에 표기된 깃허브에 올라온 저자의 코드를 전부 분석할 것을 권하고 싶다.

9장은 애플리케이션 측면에서 더 재미있고 최신의 기술을 담고 있다. 유튜브 URL을 쉽게 요약하는 방법이나 체인 활용 예제가 등장하는데 이중에서도 멀티 에이전트 AutoGen이 눈여겨 볼 부분이다. 모델끼리 협력하는 아이디어 자체는 늘 인류 역사상 존재하는 뻔한 아이디어지만 그럼에도 GPT-4o같은 놈들이 여럿 협업해서 일하고 중간에 사람도 개입하는 일은 충분히 두근거리게 만드는 일이다.

이어지는 트렌드 분석 파트나 전문가들의 인터뷰 답변은 AI의 발전 방향을 파악하는 데 도움이 된다. 독자의 상상력을 극대화해주는 파트인데 개인적으로는 아무리 기술이 발전해도 인간 역할의 핵심은 여전히 본질을 파악하는 데 있다고 본다.

AI가 제 아무리 발전한들 이를 오케스트레이션하는 과정에서 본질을 파악하는 인간이 AI의 한계나 가능성 또한 제대로 보고 활용할 줄 안다고 생각하기 때문이다.

광기에 가까운 AI 발전 속도에 정신을 잃지 않고 본질을 파악하기 위해 이 책의 일독을 권하는 바이다.

• 책소개 - NLP와 LLM 실전 가이드