이 책이 다루는 내용

I부: 트랜스포머 아키텍처 소개

1장. ‘트랜스포머의 모델 아키텍처 시작하기’에서는 NLP의 배경을 살펴보고, RNN, LSTM 및 CNN 아키텍처가 어떻게 버려지고, 트랜스포머 아키텍처가 어떻게 새로운 시대를 열었는지 이해한다. Google Research 및 Google Brain 저자들이 발명한 독특한 “Attention Is All You Need” 접근 방식을 통해 트랜스포머의 아키텍처를 살펴보겠다. 트랜스포머 이론을 설명할 것이다. 멀티-어텐션 헤드 서브레이어가 어떻게 작동하는지 보기 위해, Python으로 직접 작업할 것이다. 이 장이 끝날 무렵 여러분은 트랜스포머의 원래 아키텍처를 이해하게 될 것이다. 다음 장들에서 트랜스포머의 다양한 변형
과 사용법을 탐구할 준비가 되어 있을 것이다.

2장. ‘BERT 모델 미세 조정’에서는 원래 트랜스포머의 아키텍처를 기반으로 한다. BERT(Bidirectional Encoder Representations from Transformers)는 NLP의 세계를 인식하는 광대하고 새로운 방식으로 트랜스포머를 옮길 것이다. BERT는 미래 시퀀스를 예측하기 위해 과거 시퀀스를 분석하는 대신, 전체 시퀀스에 주의를 기울인다! 먼저 BERT 아키텍처의 주요 혁신을 살펴본 다음, Google Colaboratory 노트북에서 각 단계를 거치면서 BERT 모델을 미세 조정하겠다. 인간과 마찬가지로 BERT는 주제를 백지 상태에서 배울 필요 없이, 작업을 배우고 다른 새로운 작업을 수행할 수 있다.

3장. ‘백지 상태에서 RoBERTa 모델 사전 훈련 시키기’에서는 Hugging Face PyTorch 모듈을 사용하여 RoBERTa 트랜스포머 모델을 백지 상태에서 구축한다. 이 트랜스포머는 BERT및 DistilBERT와 유사하다. 먼저 맞춤형 데이터셋에 대해 백지 상태에서 토크나이저를 훈련시킨다. 그런 후 훈련된 트랜스포머가 다운스트림, 마스킹된 언어 모델링 작업에 대해 실행된다.

머리말 IX

우리는 개념적 NLP 표현을 탐구하기 위해 Immanuel Kant 데이터셋에 대해 마스킹된 언어 모델링을 실험할 것이다.

II부: 자연어 이해 및 생성을 위한 트랜스포머 적용

4장. ‘트랜스포머를 사용한 다운스트림 NLP 작업’에서는 다운스트림 NLP 작업에 의해 트랜스포머 모델의 마법을 보여준다. 사전 훈련된 트랜스포머 모델을 미세 조정하여 BoolQ, CB, MultiRC, RTE, WiC 등과 같은 다양한 NLP 작업을 해결하여, GLUE 및 SuperGLUE 리더보드를 지배할 수 있다. 작업, 데이터셋 및 메트릭의 트랜스포머 평가 프로세스를 살펴보겠다. 그런 다음 Hugging Face의 트랜스포머 파이프라인을 사용하여 일부 다운스트림 작업을 실행할 것이다.

5장. ‘트랜스포머를 사용한 기계 번역’에서는 인간의 베이스라인에서 기계 변환(transduction)방법으로 이동하는 방법을 이해하기 위해 기계 번역을 정의한다. 그런 다음 유럽 의회의 WMT 프랑스어-영어 데이터셋을 사전 처리한다. 기계 번역은 정확한 평가 방법이 필요하며, 이 장에서는 BLEU 채점 방법에 대해 살펴본다. 마지막으로 Trax를 사용하여 트랜스포머 기계 번역 모델을 구현한다.

6장. ‘OpenAI GPT-2 및 GPT-3 모델을 사용한 텍스트 생성’에서는 OpenAI GPT-2 트랜스포머의 여러 측면을 탐구한다. 먼저 리포머 및 PET와 같은 대안 솔루션을 살펴봄으로써 프로젝트 관리 관점에서 GPT-2 및 GPT-3을 검토한다. 그런 다음 OpenAI의 GPT-2 및 GPT-3 트랜스포머 모델의 새로운 아키텍처를 탐구하고 GPT-2 345M 파라미터 모델을 실행하고, 상호작용하여 텍스트를 생성한다. 그런 다음 사용자 지정 데이터셋에 대해 GPT-2 117M 파라미터 모델을 훈련하고 사용자 지정 텍스트 완성을 생성한다.

7장. ‘AI 텍스트 요약을 위한 법률 및 재무 문서에 트랜스포머 적용하기’에서는 T5 트랜스포머 모델의 개념과 아키텍처를 살펴본다. 문서를 요약하기 위해 Hugging Face의 T5 모델을 초기화한다. 마지막으로 T5 모델에 권리장전의 샘플을 포함한 다양한 문서의 요약 작업을 시키고, 트랜스포머에 적용된 전이 학습(transfer learning) 접근 방식의 성공과 한계를 탐구한다.

머리말 X

8장. ‘토큰나이저와 데이터셋 매칭’에서는 토크나이저의 한계를 분석하고, 데이터 인코딩 프로세스의 품질을 개선하기 위해 적용된 몇 가지 방법을 살펴본다. 우리는 먼저 word2vector 토크나이저가 일부 단어를 생략하거나 잘못 해석하는 이유를 조사하기 위해 Python 프로그램을 빌드할 것이다. 그리고, 우리는 토크나이저에 비특정적인 방법으로, 사전 훈련된 토크나이저의 한계를 찾아낸다. 마지막으로 토큰화 프로세스의 방법론을 개선할 여지가 아직 많이 남아 있음을 보여주는 몇 가지 아이디어를 적용하여 T5 요약을 개선할 것이다.

9장. ‘BERT 기반 트랜스포머를 사용한 시맨틱 롤 레이블링’에서는 트랜스포머가 텍스트 내용을 이해하는 방법을 탐구한다. SRL(Semantic Role Labeling)은 인간에게 어려운 작업이다. 트랜스포머는 놀라운 결과를 생성할 수 있다. 우리는 Allen Institute for AI에서 설계한 BERT 기반 트랜스포머 모델을 Google Colab 노트북에서 구현할 것이다. 또한 온라인 리소스를 사용하여 SRL 출력을 시각화한다.

III부: 고급 언어 이해 기술

10장. ‘데이터가 말하게 하라: 이야기, 질문, 대답’에서는 트랜스포머가 추론하는 방법을 배울 수 있는지를 보여준다. 트랜스포머는 텍스트, 이야기를 이해할 수 있어야 하며 추론 능력도 보여줄 수 있어야 한다. NER 및 SRL을 프로세스에 추가하여 질문 답변을 향상시키는 방법을 살펴보겠다. 트랜스포머를 교육하거나 독립 실행형 솔루션으로 사용할 수 있는 질문 생성기에 대한 청사진을 구축할 것이다.

11장. ‘예측을 위한 고객 감정 감지’에서는 트랜스포머가 어떻게 센티먼트(감성) 분석을 개선했는지를 보여준다. Stanford Sentiment Treebank를 사용하여 복잡한 문장을 분석하여, 시퀀스의 구조뿐만 아니라 논리적 형태도 이해하는데 여러 트랜스포머 모델을 도전시킨다. 센티먼트 분석 출력에 따라 다른 작업을 트리거하는 예측을 만들기 위해 트랜스포머를 사용하는 방법을 살펴보겠다.

12장. ‘트랜스포머에 의한 가짜 뉴스 분석’에서는 뜨거운 주제인 가짜 뉴스와, 우리가 매일 보는 온라인 콘텐츠의 다양한 관점을 이해하는 데 트랜스포머가 어떻게 도움이 되는지 탐구한다. 매일 수십억 개의 메시지, 게시물 및 기사가 소셜 미디어, 웹 사이트 및 사용 가능한 모든 형태의 실시간 통신을 통해 웹에 게시된다. 이전 장들의 몇 가지 기술을 사용하여 기후 변화 및 총기 규제에 대한 토론과 전직 대통령의 트윗을 분석한다. 합리적인 의심을 넘어 가짜 뉴스로 간주될 수 있는 뉴스와 주관적인 뉴스를 결정하는 도덕적, 윤리적 문제를 겪을 것이다.