확장메뉴
주요메뉴


소득공제
미리보기 공유하기

구글 BERT의 정석

: 인공지능, 자연어 처리를 위한 BERT의 모든 것

리뷰 총점9.3 리뷰 21건 | 판매지수 5,643
베스트
IT 모바일 top20 1주
명화를 담은 커피, 가을을 닮은 책 - 명화 드립백/명화 캡슐 커피/명화 내열 유리컵+드립백 세트/매거진 랙
[IT 기획전] IT, 모두의 교양
9월의 얼리리더 주목신간 : 웰컴 투 북월드 배지 증정
[대학생X취준생] 꼭 공부를 해야 할 상황이라면? 2학기, 공부할 결심!
박해선 저자의 머신러닝/딥러닝 패스
[단독]『혼자 공부하는 파이썬』 개정판 출간
내일은 개발자! 코딩테스트 대비 도서전
[단독] 에듀윌 IT 자격증 기획전 - 가장 빠른 합격출구 EXIT
소장가치 100% YES24 단독 판매 상품
YES24 트윈링 분철 : 인서트라벨/스티커 택1 증정
9월 전사
쇼핑혜택
1 2 3 4 5

품목정보

품목정보
출간일 2021년 11월 03일
쪽수, 무게, 크기 368쪽 | 183*235*30mm
ISBN13 9791162244852
ISBN10 1162244852

책소개 책소개 보이기/감추기

인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT

이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다.

다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다.

목차 목차 보이기/감추기

[PART I BERT 시작하기]

CHAPTER 1 트랜스포머 입문
1.1 트랜스포머 소개
1.2 트랜스포머의 인코더 이해하기
1.3 트랜스포머 디코더 이해하기
1.4 인코더와 디코더 결합
1.5 트랜스포머 학습
1.6 마치며
1.7 연습 문제
1.8 보충 자료

CHAPTER 2 BERT 이해하기
2.1 BERT 기본 개념
2.2 BERT의 동작 방식
2.3 BERT의 구조
2.4 BERT 사전 학습
2.5 하위 단위 토큰화 알고리즘
2.6 마치며
2.7 연습 문제
2.8 보충 자료

CHAPTER 3 BERT 활용하기
3.1 사전 학습된 BERT 모델 탐색
3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법
3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법
3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법
3.5 마치며
3.6 연습 문제
3.7 보충 자료

[PART II BERT 파생 모델]

CHAPTER 4 B ERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT
4.1 ALBERT
4.2 ALBERT에서 임베딩 추출
4.3 RoBERTa
4.4 ELECTRA 이해하기
4.5 SpanBERT로 스팬 예측
4.6 마치며
4.7 연습 문제
4.8 보충 자료

CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반
5.1 지식 증류 소개
5.2 DistilBERT: BERT의 지식 증류 버전
5.3 TinyBERT 소개
5.4 BERT에서 신경망으로 지식 전달
5.5 마치며
5.6 연습 문제
5.7 보충 자료

[PART III BERT 적용하기]

CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색
6.1 텍스트 요약
6.2 텍스트 요약에 맞춘 BERT 파인 튜닝
6.3 ROUGE 평가 지표 이해하기
6.4 BERTSUM 모델의 성능
6.5 BERTSUM 모델 학습
6.6 마치며
6.7 연습 문제
6.8 보충 자료

CHAPTER 7 다른 언어에 BERT 적용하기
7.1 M-BERT 이해하기
7.2 M-BERT는 다국어 표현이 어떻게 가능한가?
7.3 XLM
7.4 XLM-R 이해하기
7.5 언어별 BERT
7.6 마치며
7.7 연습 문제
7.8 보충 자료

CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기
8.1 sentence-BERT로 문장 표현 배우기
8.2 sentence-transformers 라이브러리 탐색
8.3 지식 증류를 이용한 다국어 임베딩 학습
8.4 domain-BERT
8.5 마치며
8.6 연습 문제
8.7 보충 자료

CHAPTER 9 VideoBERT, BART
9.1 VideoBERT로 언어 및 비디오 표현 학습
9.2 BART 이해하기
9.3 BERT 라이브러리 탐색
9.4 마치며
9.5 연습 문제
9.6 보충 자료

CHAPTER 10 한국어 언어 모델: KoBERT, KoGPT2, KoBART
10.1 KoBERT
10.2 KoGPT2
10.3 KoBART

저자 소개 (4명)

출판사 리뷰 출판사 리뷰 보이기/감추기

인간의 인지 능력을 능가하는 구글 AI 모델, BERT

자연어 처리에서 가장 화두가 되는 BERT는 2019년 11월에 구글이 공개한 AI 언어 모델입니다. 일부 성능 평가에서 인간을 능가하며 자연어 처리 발전에 큰 영향을 끼쳤습니다. 많은 사람이 자연어 처리 분야만큼은 AI를 적용하는 건 쉽지 않다고 생각했습니다. 하지만 BERT의 등장으로 그 가능성을 입증했으며, 자연어 처리 기술의 폭발적인 발전을 이루어냈습니다. 언어를 활용한 서비스를 개발하는 기관에서는 이미 BERT를 사용하고 있습니다. 문장 내 어절을 한 글자씩 나눈 다음 앞뒤로 자주 만나는 글자를 한 단어로 인식하는 방식으로 언어 처리 11개 분야에서 많은 성능 향상을 이뤄 주목을 받고 있습니다.

이 책에서는 자연어 처리에서 핵심 트렌드로 자리 잡은 BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 소개합니다. 전반부에서는 BERT의 전체 과정을 이해하는 데 기본이 되는 BERT와 트랜스포머를 다룹니다. 이어서 트랜스포머의 인코더와 디코더가 어떻게 작동하는지도 배우게 됩니다. 후반부에서는 BERT 외에 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT 등 다양한 BERT의 파생 모델을 소개합니다. 마지막으로 역자가 한국어의 불규칙한 언어 특성을 극복한 한국어 모델인 KoBERT, KoGPT2, KoBART에 대한 내용을 추가했습니다.

이 책 한 권이면 복잡한 BERT 개념을 완벽하게 이해하고 적은 양의 데이터로 인공지능을 구현할 수 있게 됩니다. 자연어 처리 업무를 단순하게 만들고 싶거나 인공지능, 딥러닝의 최신 트렌드가 무엇인지 궁금한 모든 이에게 훌륭한 안내서가 되어줄 것입니다.

주요 내용

- 트랜스포머 모델
- BERT의 작동 원리
- 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
- BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
- 다운스트림 태스크를 위한 BERT 파인 튜닝
- ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
- 지식 증류 기반 BERT 모델
- XLM 및 XLM-R 언어 모델
- sentence-BERT. VideoBERT, BART 모델
- KoBERT, KoGPT2, KoBART 모델

회원리뷰 (21건) 리뷰 총점9.3

혜택 및 유의사항?
구글 BERT의 정석 내용 평점5점   편집/디자인 평점5점 l******m | 2022.06.27 | 추천0 | 댓글0 리뷰제목
  BERT는 자연어를 공부한 사람이라면 한 번쯤은 들어봤을 AI언어 모델이다 자연어 분야에서 상당한 성능을 보이고 있고, 또 주목받고 있다. 영어 뿐 아니라 한국어 모델인 KoBERT, KoGPT2, KoBART등이 있는데 번역서이지만 이 책에서는 추가지필로 붙였다. 이 책의 강점은 그 동안  BERT를 공부해보고 싶었으나 대부분 영어로 된 문서가 많아 학습에 어려움이 있었;
리뷰제목

 

BERT는 자연어를 공부한 사람이라면 한 번쯤은 들어봤을 AI언어 모델이다

자연어 분야에서 상당한 성능을 보이고 있고, 또 주목받고 있다.

영어 뿐 아니라 한국어 모델인 KoBERT, KoGPT2, KoBART등이 있는데 번역서이지만 이 책에서는 추가지필로 붙였다.

이 책의 강점은 그 동안  BERT를 공부해보고 싶었으나 대부분 영어로 된 문서가 많아 학습에 어려움이 있었던 사람에게 강력 추천하고 싶다. BERT를 공부할 때 제대로 자세하게 정리된 한국어 서적은 찾기 힘들고, 대부분 입문책에서는 BERT를 언급만할 뿐 어떤 구조로 어떻게 돌아가는지 자세한 설명은 없었다.

 

하지만 이 책은 BERT를 자세하게 하나 하나 설명하기 위해 트랜스포머 모델의 인코더와 디코더 부터, 마스크 언어 모델링, 문장 예측 등 차근차근 설명하고 있다.

 

총 10장으로 구성되어 있으며 

  • 1장에서는 트랜스포머 모델의 구성요소
  • 2장에서는 BERT모델 자체를 이해하는 내용
  • 3장에서는 사전 학습된 BERT 모델을 사용하는 방법
  • 4장에서는 BERT의 파생 모델인  ALBERT, RoBERTa, ELECTRA, SpanBERT와 같은 모델
  • 5장에서는 역시나 BERT 파생 모델이면서 DistilBERT 및 TinyBERT 증류 기반 모델
  • 6장에서는 사전학습된 BERT를 파인튜닝하는 방법
  • 7장에서는 BERT가 영어가 아닌 다른 언어에 적용하는 방법
  • 8장에서는 문장 표현을 얻는데 사용되는 sentence-BERT
  • 9장에서는 VideoBERT 등과 같은 새로운 유형의 BERT
  • 10장에서는 한국어 언어모델을 추가 지필함

이렇게 구성되어 있다. 위 내용만 보더라도 입문자가 보기에는 어려움이 있는 내용이고, NLP와 딥러닝에 대한 기본적인 이해가 필요한 중급이상 책이다.

 

 

 

중급 내용이지만 이론 뿐아니라 장마다 제공하는 다양한 예제로 직접실습도 할 수 있는 것이 특징이며 BERT를 이렇게 세세하게 설명해 놓은 한글 문서는 처음 본다. 또한 대부분의 자연어 관련 책이 지난 기술을 다루고 있다면 이 책은 최신 기술을 이해하고 활용할 수 있도록 도와주고 있다. 자연어를 공부하고자 하는 분들에게 강력 추천한다.

 

 

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

댓글 0 이 리뷰가 도움이 되었나요? 공감 0
포토리뷰 구글 BERT의 정석 내용 평점5점   편집/디자인 평점5점 YES마니아 : 로얄 k******n | 2022.06.27 | 추천0 | 댓글0 리뷰제목
구글 BERT의 정석 BERT라는 녀석이 나왔다는 얘기를 처음 접한건 작년 이맘때 쯤이다. 1년정도 지났지만 BERT가 뭔지 상세하게 접할 일은 없었다. 프로그래밍을 하긴 하지만 자연어처리나 인공지능을 전문으로 하지 않아 그냥 나왔나 보다 하는 정도 수준으로만 알고 있었다.   하지만 BERT에 대한 관심은 늘 가지고 있었고, 이번에 책이 선정이 되서 읽어보게 되었다. 참고로;
리뷰제목

구글 BERT의 정석

BERT라는 녀석이 나왔다는 얘기를 처음 접한건 작년 이맘때 쯤이다.
1년정도 지났지만 BERT가 뭔지 상세하게 접할 일은 없었다.
프로그래밍을 하긴 하지만 자연어처리나 인공지능을 전문으로 하지 않아
그냥 나왔나 보다 하는 정도 수준으로만 알고 있었다.


 

하지만 BERT에 대한 관심은 늘 가지고 있었고, 이번에 책이 선정이 되서 읽어보게 되었다.

참고로 저자가 내가 20년 전에 두번정도 만난 전희원이란 사람이다.
그때도 느낌이 좋긴 했지만 왠지 아는? 사람이 번역한 책이라 괜히 더 좋았다.

개인적인 얘기는 접어두고 책에대해서 얘길하자면 수학의 정석 처럼 BERT의 정석이 맞는듯 하다.



요즘 새로운 프로젝트를 살펴보면서 문서 요약 및 자연어 처리 그리고 문서답변모델에 대해서 
공부해야 하는데 이런 내용들이 같이 나와 있어서 너무나 좋았다.


 

그리고 BERT를 잘 모르는 사람들을 위해 처음 부터 친절하고 상세한 설명이 너무나 맘에 든 책이다.

물론 정독을 해야 이해할 수 있겠지만 차근차근 책을 살펴본다면 쉽게 이해할 수 있도록 설명이 잘 되어 있는 책이다.


 

자연어 학습이나 문서요약등의 작업을 해야하는 직군을 가진 사람들은 이책을 한권씩은 가지고 있어야 하는
진짜 BERT의 정석인 책임이 분명하다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

댓글 0 이 리뷰가 도움이 되었나요? 공감 0
BERT의 정석을 톺아보기 내용 평점5점   편집/디자인 평점5점 d****s | 2022.06.26 | 추천0 | 댓글0 리뷰제목
최근 트랜스포머의 양방향 인코더 표현 기술(BERT)이 자연어 처리 영역뿐만 아니라 영상처리와 같은 다른 도메인으로 기술 적용이 확산되고 있다. 이와 같은 추세를 반영하듯, BERT라는 주제는 딥러닝의 특정 기능 분야에 한정되는 주제임에도 불구하고 [파이썬 텍스트 마이닝 완벽 가이드(2022.2)], [한국어 임베딩(2019.9)] 같이 BERT를 부분적으로 다루는 도서나 [Do it! BERT와 GPT로;
리뷰제목

최근 트랜스포머의 양방향 인코더 표현 기술(BERT)이 자연어 처리 영역뿐만 아니라 영상처리와 같은 다른 도메인으로 기술 적용이 확산되고 있다. 이와 같은 추세를 반영하듯, BERT라는 주제는 딥러닝의 특정 기능 분야에 한정되는 주제임에도 불구하고 [파이썬 텍스트 마이닝 완벽 가이드(2022.2)], [한국어 임베딩(2019.9)] 같이 BERT를 부분적으로 다루는 도서나 [Do it! BERT와 GPT로 배우는 자연어 처리(2021.12)]와 같이 본 도서와 겹치는 주제를 거의 비슷한 콘셉트로로 다루고 있는 도서를 모두 찾아볼 수 있다.
이 책의 원서가 출간되기 전에는 BERT만 다루는 책이 없었는데, BERT의 비중을 생각했을 때, 이를 알기 위해 논문을 보거나 자연어 처리 관련 도서 끝부분에 잠깐 언급된 내용으로 만족해야 했음을 생각하면 이 책의 출간이 매우 의미 있음을 알 수 있다.
[구글 BRRT의 정석]은 2021.11 초판 발행되어 2022.1 2쇄가 발행되었다. 한국의 IT서적 판매 시장에서 전문적이고 주제의 폭이 매우 좁다는 것을 고려할 때 [구글 BERT의 정석]이 받고 있는 기대감이 그만큼 크다는 것을 알 수 있다. 유사한 도서 중 트랜스포머만을 집중해서 빠르게 내용을 접하고 정리하고자 한다면 이 책은 타 도서에 비해 가장 적당한 예시로 가장 이해하기 쉽게 설명하고 있으며 따라서 좋은 선택을 한 것이라 할 수 있다. 책 초반에 트랜스포머에 대한 설명을 할 때 인코더의 구성을 풀어 단계별로 알려주는 부분을 보면 마치 가장 친절한 멘토를 옆에 둔 것 같은 느낌을 받을 정도로 친절하게 설명해 줌을 알 수 있다.
역자들, 특히 전희원님의 경우 한국어와 관련된 여러 오픈소스 활동과 기술 문서를 통해 수년간 전문성을 인정받은 분이라 번역의 질도 매우 우수하고 기술을 정확하게 파악할 수 있도록 번역이 되었다.

파트 1에서는 트랜스포머의 기본 개념을 다루고, 동작 방식 과정에서 값이 부여된 행렬 상태나 관련 그림을 곁들여 쉽게 설명한 뒤 학습된 모델을 파인튜닝하고 사용하는 방법을 설명한다. 파트 2에서는 파생모델과 적은 리소스에서 성능을 내기 위한 지식 증류 기반 모델을 다루고, 파트 3에서는 기타 BERT를 적용하고 역자가 저술한 한국어 모델에 대하여 다루고 있다.

BERT의 동작원리를 궁금해하는 독자에게는 거기에 더하여 활용 방법에 대한 안내를 해주고, 실제 업무에 적용하기 위해 모색하는 독자에게는 BERT를 알기 위해 선행 파악해야 하는 공부의 순서에 대한 걱정 없이 책의 순서대로 유용하게 지식을 정리할 수 있다. 또한 각 장의 연습문제는 이해한 개념 중 중요한 것을 다시한번 짚어준다. 다른 연습문제가 있는 도서와 다른점은 연습문제의 정답은 부록(Appendix)를 통해 제공해 준다는 것인데, 이를 통해 내용을 정확하게 복기할 수 있도록 도와준다.

이 책의 서문(이 책에 대하여)에는 필요한 독자의 선행지식, 이 책을 통해 얻을 수 있는 내용, 책을 통해 얻게 되는 성과를 명시적으로 기술되어 있다.

  * 독자의 선행지식 : NLP 개념과 딥러닝에 대한 기본적인 이해가 필요
  * 도서의 내용
    - BERT에 대한 이해를 기반으로 아키텍처를 살펴보고, 사전학습되는 방법, 파인 튜닝을 통한 다운스트림 태스크에 활용하는 방법 알아봄
    - 변형 소개 : ALBERT, RoBERTa, ELECTRA, SpanBERT
    - 지식 증류 기반 변형 : DistilBERT, TinyBERT
    - M_BERT, XLM, XLM-R 설명
    - sentence-BERT
    - BioBERT, ClinicalBERT
    - VideoBERT
    - 역자가 저술한 KoBERT, KoGPT2, KoBART
  * 얻을 수 있는 것 : BERT 및 그 변형 모델을 활용해 여러 자연어 처리 태스크를 수행하는 데 부담이 없어어짐
  
이 책은 예제를 따라 하기가 쉽게 되어 있다. GitHub의 저장소 코드를 colab을 통해 확인하고 실행해 볼 수 있으며, 예제에도 풍부한 주석이 있기 때문에 책을 참고하여 개념을 익히고 코드를 실습하고 이해하는데 문제가 없다. 이 책은 자연어 처리 분야의 최신 솔루션에 대한 훌륭한 입문서다. 다만 서문에서 언급되었듯 기반 지식이 필요하며 적어도 인터넷에 공개된 딥러닝 관련 내용은 선행학습이 되어야 읽을 수 있다. 딥러닝 혹은 자연어 처리에 대한 기반 지식이 없다면 본 도서를 구입하기 전 다른 자연어 처리 관련 입문 도서나 아래 인터넷에 공개된 강좌 학습 등을 선행하길 추천한다.

딥 러닝을 이용한 자연어 처리 입문 - https://wikidocs.net/book/2155

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

댓글 0 이 리뷰가 도움이 되었나요? 공감 0

한줄평 (1건) 한줄평 총점 10.0

혜택 및 유의사항 ?
구매 평점5점
BERT 주요 기술 및 네트워크 구조와 예제까지 자세하게 설명되어 있어 좋습니다.
이 한줄평이 도움이 되었나요? 공감 0
YES마니아 : 플래티넘 e*****n | 2021.12.18
  •  쿠폰은 결제 시 적용해 주세요.
1   30,600
뒤로 앞으로 맨위로 aniAlarm