이 책은 실습 위주의 책으로 재미와 지식이라는 두 마리 토끼를 모두 잡은 책이다.

트랜스포머를 배우고자 한다면, 이론을 배우기 전에 무조건 이 책부터 읽고 실습한 후, 다음 과정으로 넘어가라고 추천하고 싶다. 아니, 머신러닝을 배우고자 한다면 읽어야 할 첫번째 책이다.

책에서 다루는 주제는 트랜스포머 라이브러리를 이용한 거의 모든 주제를 총망라한다.

아시겠지만, 우리는 머신 러닝의 각 주제(회귀(예측), 분류, 컴퓨터 비전, 분석, 자연어 처리(생성, 요약, 질의 응답, 번역, ...))가 분야별로 한 권의 책이 나올 정도로 심오하다는 것을 알고 있다.

이 책의 분량(232페이지)으로 커버할 수 없다.

하지만, 이 책을 통해 머신러닝으로 무엇을 할 수 있는지, 어떻게 하는지, 단 몇줄의 코드로 이렇게 간단하게 처리하는지 몸소 체험할 수 있다.

책의 구성은 전체 16개 장으로 되어 있는데, 16가지 주제를 해결하기 위한 워크플로가 101가지이다. 물론 101가지가 문제들은 각각 모두 사용할 수 있겠다.

1장은 구글 코랩의 환경 설정 방법과 트랜스포머 라이브러리를 파이프라인 형식에 맞춰 감성 분석과 질의 응답을 맛보기로 보여준다.

2장은 DistillBERT 모델로 IMDB 데이터(영화 리뷰 코멘트)를 활용한 파인튜닝하는 법을 배우고, 결과를 평가하는 방법을 실습한다.

3장은 학습된 모델의 평가 방법과 라이브러리를 활용한 분류 리포트를 확인하는 방법을 실습한다.

4장에서는 GPT-Neo, DistillGPT2를 활용하여 작문하는 것을 실습하며,

5장은 BERT, DistilBERT, ALBERT 세가지 모델로 MLM(빈 단어 채우기)을 실습하고 비교한다.

6장에서는 트랜스포머 라이브러리 CLIP로 이미지를 처리하는 실습을 하며,

7장은 Wav2Vec2 라이브러리로 음성을 처리하는 실습을 한다.

8장에서는 트랜스포머 라이브러리를 활용하여 파인 튜닝 후 다중 분류하는 법을 실습하고,

9장은 BART모델로 자동 요약하는 방법을 실습한다.

10장에서는 BERT 앙상블 모델로 빈 단어 채우기하는 방법을 실습하고,

11장은 BigBird 모델을 사용하여 512토큰의 BERT보다 4배가 많은 2,048토큰으로 확장하여 처리하는 방법을 실습한다.

12장에서는 PEGASUS를 활용하여 단어가 아닌 문장 단위로 마스킹하고, 자동 문장 요약하는 방법을 실습하고

13장은 M2M100 모델로 중국어, 한국어, 영어로 번역하는 방법을 실습한다.

14장에서는 Mobile BERT를 사용하는 방법을 실습하고,

15장은 GTP, DialoGPT, DistilGPT2의 GPT 모델로 실습한다.

마지막 16장은 위키피디아 데이터로 자연어 처리(텍스트 로딩, 벡터 추출, 토크나이징, 전처리, 시각화)를 실습한다.

소스 코드(https://github.com/jasonyim2/book3)는 깃헙에서 다운로드 받을 수 있으며, 101가지 문제 단위가 아니라 16장 단위로 되어 있어서 실습하기 편하게 구성되어 있다.

각 장은 3 ~ 10개의 문제로 구성되어, 자연스럽게 머신러닝 워크플로을 알려 준다.

개인적으로 책 중간의 반복되는 작업들은 중복이라고 생각되기 보다는 그 만큼 중요하다고 인식하였으니 참고하세요~

책에서 제일 인상 깊었던 내용은 역자의 한마디이다. 이렇게 역자의 한마디가 많았던 적이 있었던가? 신기해하면서 얼마나 이 책에 진심인지 알게 된다.

머신 러닝의 생소한 용어 설명뿐만아니라, 개념 설명, 파이썬 문법, 파이썬 라이브러리 사용법등을 알기쉽게 설명해준다. 그러니 꼭 챙겨서 읽도록 하자!!

책 사이즈가 커서 실습하기 안성 맞춤이며, 그린 계열의 폰트는 눈에 잘 들어온다.

마지막으로 역자의 한마디에 너무 감동한 나머지 역자서문으로 마무리한다. :D

책 곳곳에 담긴 역자의 보충 설명을 통해 여러분도 허깅페이스 트랜스포머 모델의 탁월함을 간편하게 즐길 수 있기를 희망합니다.

역자서문, p5

"루비페이퍼에서 책을 제공받아 작성된 서평입니다."

#트랜스포머 #허깅페이스 #딥러닝 #파이토치 #코랩 #자연어처리 #인공지능 #인공지능모델 #BART #BERT #LLM #알고리즘 #GPT #챗GPT #파인튜닝 #101가지문제로배우는딥러닝허깅페이스트랜스포머with파이토치 #루비페이퍼 #임선집 #조슈아케이지

이 책은 트랜스포머 모델의 기본적인 개념부터 시작하여, 실제로 파이토치와 코랩을 활용한 문장 자동 번역, 줄거리 요약, 음성/이미지 인식 등의 다양한 자연어 처리 과정을 체험할 수 있게 안내합니다.

책의 초반부(1~3장)에서는 구글 코랩 환경 설정과 DistillBERT 파인튜닝, IMDB 데이터세트를 활용한 사전학습, 그리고 모델 성능 평가와 예측 성과 지표 분석에 대해 다루고 있어요. 이 부분을 통해 트랜스포머 모델의 기본 구조와 작동 원리에 대해 알 수 있었어요.

다음으로(4~5장), GPT-Neo, DistilGPT2, DialoGPT를 활용한 텍스트 자동 생성과 BERT, DistilBERT, ALBERT 로딩 MLM 파이프라인을 통한 토큰 예측에 대해 배울 수 있었어요. 이 부분에서는 실제로 코드를 작성하고 실행하는 실습을 통해 이론을 실제로 적용하는 방법을 배울 수 있었고, 이를 통해 딥러닝과 자연어 처리에 대한 이론적인 지식뿐만 아니라 실제로 이를 적용하는 능력도 향상시킬 수 있었습니다.

6~7장에서는 CLIP를 통한 이미지 인식과 자연어 처리, 그리고 Wav2Vec2 자동 음성 인식 모델과 오디오 데이터 처리에 대해 다루고 있어요. 이 부분에서는 트랜스포머 모델의 다양한 활용 방법을 배울 수 있었어요.

8~9장에서는 BERT 사전학습 모델, 데이터세트, 파인튜닝, 분류 정확도 분석과 BART 사전학습 모델, 정규식 활용, 토크나이징, 추론, 디코딩에 대해 배울 수 있었어요. 이 부분이 가장 인상 깊었던 이유는,실제로 우리가 일상에서 마주치는 문제들을 기반으로 프로젝트를 진행하기 때문이에요.

10~12장에서는 BERT 앙상블 데이터세트, BERT 앙상블 학습 및 예측, BigBird 데이터세트와 추론, 그리고 PEGASUS 토크나이징 및 인코딩, 자동 요약에 대해 다루고 있어요. 

마지막으로, 13~16장에서는 M2M100를 통한 중국어, 한국어 자동 번역, Mobile BERT 라이브러리를 활용한 빈칸 채우기, GPT, DialoGPT, DistilGPT2를 통한 문장 생성 활용, 그리고 BERT, tSNE의 자연어 처리 실습 및 벡터 처리, 시각화에 대해 다루고 있어요. 이 부분을 읽으면서, 저는 트랜스포머 모델이 실무에서 어떻게 활용되고 있는지 이해할 수 있었습니다. 이 덕분에 트랜스포머 모델의 중요성과 활용 가능성을 더욱 확실하게 느낄 수 있었습니다.

이 책을 읽고 나서, 저는 얕게만 이해하고 있던 딥러닝과 자연어 처리 지식이 한층 더 깊어졌습니다. 이 책에서 배운 예제들을 적절히 활용하여 개인 토이 프로젝트를 추가로 진행할 것 같습니다.

"101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치"는 딥러닝과 자연어 처리에 관심 있는 모든 사람들에게 꼭 추천하고 싶은 책입니다. 이 책을 통해, 여러분들도 딥러닝과 자연어 처리 기술을 한층 더 깊이 이해하고, 이를 실생활 문제 해결에 활용하는 능력을 가질 수 있을 것입니다. 절대 후회하지 않을 선택이라 자부합니다.

"루비페이퍼 출판사로 부터 책을 제공받아 작성된 서평입니다."

루비페이퍼에서 서평을 위해 책을 제공받았습니다.

나는 원래 특정 라이브러리나 프레임워크에 관한 책을 잘 구매하지 않는다.

책의 출간일이 언제인지에 따라 해당 라이브러리의 최신버전과는 기능적으로 차이가 있을 수도 있고,

현재 버전과 책의 내용이 동일하다 하더라도 몇 달 후면 곧 바뀔 가능성도 있기 때문이다.

그래도 왠만해서는 큰 변경사항은 없는 경우가 대부분이라, 체계적으로 잘 정리된 자료가 필요한 경우라면 종종 읽게 된다.

대부분 공식 문서가 존재하지만

공식 문서는 해당 라이브러리에서 지원하는 함수 등의 기능위주와 간단한 예제만 다루는 반면,

도서의 경우 활용에 초점을 맞춘 경우가 더 많아서 오히려 더 유용하다.

그래서 이 책을 왜 읽게 되었냐면

어쩌다가 교내 학회에서 여러 사람들과 논문을 준비하게 되었는데, 자료조사를 좀 하다 보니 허깅페이스의 트랜스포머를 꽤 자주 쓰는 것을 보게 되었다.

근데 나는 써본 적이 없었고,

근데 이 책 서평모집한다길래 신청했다.

일단 표지에서 부터 문제가 무려 101가지나 있다고 하는데, "이거 불러오세요" 해서 import 하는 문제가 꽤 많다.

문제-풀이 형식으로 진행되지만,

문제는 그냥 어떤 기능을 다룰것인가 이고,

풀이는 그 기능을 어떻게 구현하는지에 관한 설명이다.

그리고 원서를 읽어보지는 않았지만, 트랜스포머 라이브러리의 기능 위주의 간결한 설명만 있어서 그런지, 매 쳅터마다 역자분께서 개념 설명을 추가해 놓으셨다.

아마 각 챕터 앞에 있는 역자분의 설명을 읽거나, 미리 알고 있는 내용이 아니라면 그냥 코드만 잘 돌아가는 상황이 올지도 모른다.

나도 자연어처리 때문에 이 책을 찾게 되었던 것처럼, 허깅페이스의 트랜스포머 라이브러리는 여러 LLM에 대한 기능을 많이 지원한다.

이 책은 그런 LLM들을 활용하기 위한 데이터 전처리, 모델을 불러와 파인튜닝하고 동작시키는 기본적인 활용 방법 뿐만 아니라,

Clip 같은 멀티모달 이나 BERT를 앙상블 시키는 내용도 다룬다.

일단 책 구성이 잘게 쪼게져있어서, 예제들을 따라하는데도 큰 부담도 없고,

라이브러리를 사용하는 방법을 다룬 도서인 만큼 사용하려는 기능에 대한 배경지식만 어느정도 있다면, 유용한 도서인 것 같다.

현시대 특이점의 근간이 되는 트랜스포머 기반의 모델들을 아주 잘 사용해볼 수 있는 허깅페이스 트랜스포머 라이브러리를 잘 이용할 수 있게 해주는 책입니다.

현업에서 일하다 보면 비전, 자연어, 음성 등 가릴 것 없이 모든 분야의 모델들을 사용하게 되는 경우들이 많고, 허깅페이스의 트랜스포머 라이브러리를 필연적으로 사용하는 경우가 생깁니다.

트랜스포머와 파이토치를 처음으로 사용해봤을 때가 2019년 말이니 벌써 3년이 훌쩍 넘은 시간이 흘렀네요.

딥러닝 붐의 방점을 찍게 해주고, 거인의 어깨 위에 올라서서 세상을 바라볼 수 있게 해주는 어쩌면 이제 필수와도 같은 라이브러리들을 이 책 하나로 이해하고 써볼 수 있는 게 참 좋은 것 같습니다.

사용환경까지 고려하여 코랩으로 실행하게 해주는 세심함이 마음에 듭니다.

다시 트랜스포머와 파이토치를 공부하게 된다면, 이거저거 삽질하면서 배우기보다는 이 책 한 번을 정독하고 문제를 풀며 맨땅에 헤딩하는 시간을 줄일 것 같습니다.

"출판사로 부터 책을 제공받아 작성된 서평입니다."

트랜스포머라는 기술이 OpenAI 의 ChatGPT를 통해서 널리, 핫하게 다뤄 지고 있는데 다양한 문제를 통해서 해당 기술을 접할수 있을것 같아서 큰 관심과 기대를 가지고 이 책을 읽어 보게 되었다

허깅페이스 트랜스포머라이브러리는 파이프라인이라는 맞춤형 모듈을 제공하고, 이를 통해서 최신 모델을 통해 학습하고 추론을 할 수가 있다

이 책은 이를 위해서 구글 코랩 환경 설정 하는 초보 단계 부터 코랩환경에서 간단하게 라이브러리 파이프라인 형식에 맞춰서 감성분석 이라던지, 질의 응답을 하는 기법과 사전 학습된 모델을 통해 파인 튜닝하는 기법을 학습하게 된다. DistilBERT 모델을 파인 튜닝 해서 영화 리뷰 코멘트 긍정/부정 감성판단을 하는 IMDB 데이터 세트를 가지고 레이블인코딩, 학습 및 검증 데이터 세트 분리, 토크나이징 및 인코딩, 데이터 세트 클래스 생성, 사전학습 모델 불러오기 등의 과정을 학습한다

그리고 모델 성능향상을 위해서 어떻게 성능을 평가하는지를 다루고

GTP를 활용해서 작문을 하는 부분, MLM(Masked Language Model) 입력 문서내 단어(토큰)의 15%가 토큰으로 가려지고 원래 단어를 추측하는 빈칸 채우기 작업을 BERT, ALVERT, DistilBERT 모델의 결과 차이를 확인하고

OpenAI의 CLIP(Contrastive Lnaguage-Image Pretraining)의 과정을 학습한다

또한 Wav2Vec2 모델, BERT 다중 클래스 분류, BART 자동 요약, BERT 앙상블 학습, BigBird(희소 어텐션을 사용하는 트랜스 포머 모델), PEGASUS에 대한 내용과

M2M100 자동번역, Mobile BERT, 그리고 DialoGPT와 함께 마지막으로 자연어 처리에 대한 실습을 통해 배운 내용을 정리하게 된다.

이 책을 통해서 텍스트 자동번역, 생성, 요약, 음성 및 이미지 추출 ,인식에 대한 최근에 핫 한 AI 관련된 최신 기술을 습득 할 수 있고 허깅페이스 트랜스포머라이브러리를 통해 간단하게 어려운 문제를 해결하는 과정을 경험해 볼 수 있는 흥미로운 책이다

관심있으신 분들은 한번 구매해서 일독 하기를 권해 본다

"루비페이퍼 출판사로 부터 책을 제공받아 작성된 서평입니다."

'루비페이퍼'의 도서 지원을 받아 작성한 리뷰입니다.

어떤 것이든 (딥러닝을 포함 해서) 처음 배우는 방법은 2가지가 있는 거 같다. 기초부터 탄탄하게 배우는가 아니면 흥미를 잃지 않게 작은 성취를 쌓아가면 배우는가. 혹자는 기초부터 어렵게 배워야 한다고 주장한다(특히나 악기를 배운다던가). 만약 그 일을 직업으로 삶을거라면 맞는 말일 수도 있지만 내가 그것이 재밌는지 알지 못할 때는 일단 재밌는지를 먼저 경험 할 수 있도록 후자의 방법이 더 좋다고 생각한다.

이 책은 후자의 방법으로 딥러닝의 입문 할 수 있는 책이라고 생각한다. 어찌보면 전자의 방법으로 입문 한 사람으로서 억울하기도 하지만 이제는 허깅페이스가 있고 실제 개발에서도 모델을 받아서 약간의 파인튜닝만 하는 점을 생각했을 때 당연하다고 생각한다. 

허깅페이스가 제목에 들어가다보니 대부분 자연어 처리 과업일 것이라고 생각했지만 CV와 음성인식도 약간 있다. 처음 딥러닝을 경험해 보고 싶은 사람에게 추천한다. 사실 따라 칠 수만 있다면 파이썬이나 코딩 경험도 거의 필요 없다.

소개

이 책은 101개의 문제를 직접 풀어 보면서 트랜스포머를 익히도록 구성이 되어 있습니다.

문제를 제시하고 간결한 모델 서술과 뛰어난 성능의 트랜스포머를 이용하여 해법을 찾아 나가는 것이~

먼저 문제에 대한 해법을 생각해 보고 그것을 어떻게 해결해야 될 지 고민을 하면서 풀이를 본다면 더욱 더 많은 것을 깨달을 수 있을 것 같네요~

이 책은 자연어 처리, 컴퓨터비전 등의 파이토치 딥러닝 트랜스포머 모델을 활용한 문제 해결 방법을 제시해 주는 책입니다.

내용

• 딥러닝 작업을 위한 파이프라인을 설정하는 방법과 감성 분석, 질의 응답
• DistillBERT 모델을 사용하여 파인튜닝하고, IMDb 데이터세트를 활용하여 모델을 평가하는 방법
• 모델 성능을 평가하기 위한 예측 성과 지표와 관련된 문제
• GPT 모델을 사용하여 텍스트 생성 작업을 수행하는 방법
• MLM을 활용하여 BERT, DistilBERT, ALBERT 모델을 학습하고 평가하는 방법
• CLIP 모델을 사용하여 이미지 인식과 자연어 처리를 연동하는 방법
• BERT, GPT, PEGASUS, M2M100, Mobile BERT, BigBird와 같은 다양한 딥러닝 모델 및 기술을 활용한 다양한 자연어 처리 및 기계 학습 작업

위와 같은 딥러닝과 자연어처리 분야의 문제들을 101개의 문제를 사용해서 다루고 있습니다.

특징

• 문제를 제시하고 그 문제를 풀어 나가는 과정을 제시하면서 먼저 생각하고 해법을 찾으면서 더 많은 것을 깨닫게 해 주는 구성
• 실전에서 사용되는 자동요약,번역,이미지 인식 등 다양한 문제를 101개의 문제로 구성하여 지루 하지 않게 실전 문제들을 연습해 볼 수 있는 구성
• 원문에 역자만의 친절한 보충 설명으로 초보자도 이해 하기 쉽도록 구성

총평

자격증을 취득하고 나면 그 쪽 분야에서 인정을 해 주는 이유는 자격증을 취득하기 위해 반복에 반복을 하면서 그 기능이나 분야에서 정확하게 어떤 깨달음을 얻었기 때문에 다른 사람들이 인정을 해 주는 것이 아닐까 라는 생각을 해 보게 됩니다.

이 책은 101가지 문제를 스스로 해결하려고 노력 하고 그에 대한 해법을 살펴 보면서 연습을 하다 보면 트랜스포머의 라이브러리의 성능이나 활용법등을 스스로 깨닫고 확장을 해 나갈 수 있는 책이라고 생각이 됩니다.

처음 입문자가 바로 접근하기에도 좋지만~

딥러닝을 배워 보신 분들이 다음으로 어떤 책으로 공부를 해 나가야 할지 방향을 잡지 못하신 분들이라면~

이 책을 통해서 101개의 문제를 해결하면서 하나 하나 해결 하면서 자신이 살짝 놓쳤던 부분들을 고민해 보고 해법을 통해서 무릎을 탁 치는 깨달음을 얻을 수 있다면 딥러닝에 한발짝을 더 깊숙히 내딛는 계기가 될 것으로 생각됩니다.

'이 책은 루비페이퍼 서평단으로 선정되어 책을 제공받아 작성한 서평입니다.'

요즘, 회사에서도 바쁘고 퇴근하고 나면 일이 있어서 더이상 일을 벌리거나 맡지 않으려고 노력하는 중입니다.

그런데 이 책의 서평단 모집 글을 보고는 신청하지 않을 수가 없었습니다. "자연어 처리의 가본 #BART 부터 요즘 핫한 #GPT 까지 바닥부터 배우는 허깅페이스의 트랜스포머 기반 AI모델"이라는 문구를 보고 이건 배워야해 하고 생각했던 것 같습니다.

트랜스포머가 뭔지도 모르고 일단 신청했는데, 서평단 선정이 되어 책을 받았습니다.

Transformers란 Hugging space에서 모아놓은 Trasnformer library들의 모아 놓은 것입니다. Transformer들은 여러 회사에서 만든 AI모델 들입니다. 이를 활용해 단 몇줄의 코드만으로 훌륭한 AI 를 수행할 수 있습니다.

이책의 실습 코드는 아래 git hub에서 받을 수 있습니다.

https://github.com/jasonyim2/book3

전체 코드 모드 구글 colab으로 짜여져 있어서 다운받아서 colab에 업로드해서 실습하도록 가이드 되어 있습니다.

책에는 나와 있지 않지만 구글 colab은 GigHub파일을 직접 열수 있는 기능도 제공하고 있으니 활용하면 더 쉽게 파일을 열수 있을 것입니다.

이 책의 내용을 살펴 보기 전에 전체적인 느낌을 정리해 보자면 아래와 같습니다.

우선 101가지 문제라는 제목에 맞지 않게 책이 얇습니다. 그래서 이게 맞나 싶은데, 사실 101가지 문제가 101가지 프로젝트가 아닙니다. 1개의 프로젝트를 실습하기 위한 과정을 단계별로 나누어 문제로 정리하고 해설하였습니다. 실제 프로젝트 수는 20여개 정도입니다.

이 책의 장점은 역자가 내용을 완전히 파악한 상태에서 번역하여서 한국어로 쓰여진 듯하게 가독성이 높았습니다. 또한 독자의 이해를 돕기위한 첨언이나 추카 코드를 역자가 제공하여 코드 내용을 좀더 이해하기 쉬웠습니다.

이책의 내용은 다양한 Trasnformer 를 소개하고 사용법을 실습으로 알려 줍니다. 딥러닝이나 파이토치를 깊이 있게 알지 못해도 실습이 완성됩니다. 마치 엑셀의 코드를 몰라도 엑셀을 사용하는 것처럼 쉽게쉽게 사용하는 팁을 줍니다. 그래서 실습하면서 계속 이것을 어디에 적용하면 좋지 하는 생각을 하게 되었던 것 같습니다.

단점은 즉시 실무에 적용하기 어렵다. 예를 들어 언어 모델인 경우 단순히 제시문을 한국어로 바꾸어서 실습해봤는데 잘 동작하지 않습니다. 전처리나 추가 적인 옵션이 필요한 것 같습니다. 이부분은 독자가 좀더 조사해서 완성해야하는 부분 같습니다.

책의 내용을 살펴 보겠습니다.

트랜스포머는 허깅페이스에서 제공하는 라이브러리로 아래 사이트에 그 설명들이 있습니다.

https://huggingface.co/docs/transformers/

이 책에서는 그중 대표적인 모델을 가져와 실습을 하게 됩니다. 비슷하지만 다른 트레이닝 데이타셋으로 학습한 모델들사이의 차이점을 알게 해주기도 합니다. 허깅페이스 docs에서 헤메고 길을 잃을 수 있는 것을 몇개의 가이드를 제시해주는 것이라고 볼 수 있습니다.

예제 파일은 11개의 파일로 나누어져 있고 각각의 주제는 아래와 같습니다.

001 ~ 016 : text의 감성 분석 예제, 원문을 주고 원문의 내용중 일부를 질문하면 답을 추출하는 예제, IMDB영화 감성평가 분석 예제

017 ~026 : GPT를 이용한 작문하는 법을 알려줍니다.

여러가지 Trasnformer라이브러리를 활용하는 법을 실습하기때문에, 작성할 문장 특성에 따라 적절한 라이브러리별로 선택하는 것이 중요하겠다는 생각이 들었습니다.

027 ~ 036 : 이미지와 제목의 후보군 string을 입력하여 그 이미지에 맞는 text 예측하는 예제입니다.

037 ~042 : Wav2Vec2를 이용해서 영어음성을 영어 문자로 출력하는 예제입니다. 활용도가 높을 것 같은데 한국어에 적용할 수 있는 방법을 찾으면 좋겠습니다.

043~049 : BERT를 이용한 다중 클래스 분류하는 예제 입니다. 이미 정의된 모델을 사용할때 보다 파이 토치를 통해 파인 튜닝하면 정확도가 높아지는 것을 볼 수 있습니다. 파인 튜닝 방법을 배울 수 있어서 나만의 프로젝트를 만들때 활용하면 좋을 것 같습니다.

예를 들어 긍정문, 부정문, 일반 문장을 구분할때, 파인 튜닝 전,후의 결과가 확연히 달랐습니다.

050 ~ 055 : BART를 이용해서 주어진 문장들을 한문장으로 요약하는 법을 단계적으로 실행해 볼 수 있습니다.

056 ~ 065 : BERT 모델들을 여러개 묶어서 문장 예측을 하는 실습을 할 수 있는데 정확도가 많이 높아지는 것을 볼 수 있습니다. 앙상블할때 정의과정이 다른 실습보다 복잡해서 조금 어려웠습니다. 정확도가 높아지는 만큼 파이토치를 조금도 공부해서 활용하면 좋을 것 같습니다.

066 ~ 072 : BERT외에 다른 모델들도 소개하고 있습니다. Big bird는 빈 문장 채울때, BERT에 비해 여러개의 MASK를 쓸 수 있어 유용합니다. PEGASUS처럼 자동 문장 요약에 탁월한 모델을 쓸 수도 있습니다.

073 ~ 081 : M2M100을 이용한 자동 번역예제로 중국어를 영어로, 한국어를 영어로 번역해주는 실습을 했습니다. 문법에 맞게 자연스러운 문장을 만들어 줍니다.

082 ~ 090 : Mobile BERT는 휴대폰에서 작업할 수 있는 작고 빠른 모델입니다. 스마트폰 어플을 만들때 활용하면 좋을 것 같습니다.

마지막으로 091 ~ 101 에서는 BERT 및 tSNE를 통해 , 위키피디아 내용을 분석하고 시각화하여 두 페이지의 내용의 차이점을 보여주었습니다. 이 예제는 어떻게 활용할지 살짝 감이 안왔습니다. 그러나 텍스트를 시각화한다는 점에서 다시 잘 배워 두면 좋겠다는 생각을 했습니다.

사실 책 내용을 적다보니 용어가 많아서 어렵게 보일 수도 있습니다. 하지만 주어진 실습 파일을 그대로 따라하다보면 매우 쉽고 빠르게 내용을 파악할 수 있습니다. 저 같은 경우는 회사에서 chatGPT나 BART같은 사이트를 보안상의 이유로 막아두었습니다. 그래서 트랜스포머를 잘 활용하면 문장의 요약, 작성, 분석에 매우 도움이 될 것 같습니다.

"출판사로 부터 책을 제공받아 작성된 서평입니다."