확장메뉴
주요메뉴
소득공제 PDF
eBook 한국어 임베딩
왼쪽 더보기 오른쪽 더보기
미리보기 공유하기
eBook

한국어 임베딩

: 자연어 처리 모델의 성능을 높이는 핵심 비결 Word2Vec에서 ELMo, BERT까지

[ PDF ]
첫번째 리뷰어가 되어주세요 | 판매지수 570
정가
28,000원
판매가
28,000원(종이책 정가 대비 20% 할인)
YES포인트
마케팅 전사 배너(모바일웹)
결제혜택
카드/간편결제 혜택을 확인하세요 ?
배송안내
배송비 없음, 구매 후 바로 읽기?
구매 시 참고사항
{ Html.RenderPartial("Sections/BaseInfoSection/DeliveryInfo", Model); }
한 눈에 보는 YES24 단독 선출간
매월 1~7일 디지털머니 충전 시 보너스머니 2배 적립
★90일 대여점★ 이렇게 싸도 대여?
[READ NOW] 2022년 8월호
eBook 전종 10%할인+5%적립 무한발급 슈퍼쿠폰
8월 전사
쇼핑혜택
1 2 3 4 5

품목정보

품목정보
출간일 2019년 12월 27일
이용안내 ?
  •  배송 없이 구매 후 바로 읽기
  •  이용기간 제한없음
  •  TTS 불가능
  •  저작권 보호를 위해 인쇄 기능 제공 안함
지원기기 크레마, PC(윈도우), 아이폰, 아이패드, 안드로이드폰, 안드로이드패드, 전자책단말기(일부 기기 사용 불가), PC(Mac)
파일/용량 PDF(DRM) | 52.47MB ?
글자 수/ 페이지 수 약 352쪽?
ISBN13 9791161753898
KC인증
더보기

이 상품의 태그

소개 책소개 보이기/감추기

자연어 처리 모델의 성능을 높이는 핵심 비결, 『한국어 임베딩』

임베딩(embedding)은 자연어를 숫자의 나열인 벡터로 바꾼 결과 혹은 그 일련의 과정 전체를 가리키는 용어다. 단어나 문장 각각을 벡터로 변환해 벡터 공간에 '끼워 넣는다(embed)'는 취지에서 임베딩이라는 이름이 붙었다. 컴퓨터가 자연어를 처리할 수 있게 하려면 자연어를 계산 가능한 형식인 임베딩으로 바꿔줘야 한다.

임베딩은 컴퓨터가 자연어를 이해하도록 하는 첫 관문으로 매우 중요한 기능을 한다. 자연어 처리 모델의 성능은 임베딩이 좌우한다고 해도 과언이 아니다. 이 책에서는 다양한 임베딩 기법을 일별하고 한국어 데이터 전처리, 임베딩 구축에 이르는 전 과정을 튜토리얼 방식으로 소개한다. Word2Vec 등 단어 수준 기법부터 ELMo, BERT 등 문장 수준 임베딩까지 다룬다.
더보기

목차 목차 보이기/감추기

1장. 서론
1.1 임베딩이란
1.2 임베딩의 역할
1.2.1 단어/문장 간 관련도 계산
1.2.2 의미/문법 정보 함축
1.2.3 전이 학습
1.3 임베딩 기법의 역사와 종류
1.3.1 통계 기반에서 뉴럴 네트워크 기반으로
1.3.2 단어 수준에서 문장 수준으로
1.3.3 룰 → 엔드투엔드 → 프리트레인/파인 튜닝
1.3.4 임베딩의 종류와 성능
1.4 개발 환경
1.4.1 환경 소개
1.4.2 AWS 구성
1.4.3 코드 실행
1.4.4 버그 리포트 및 Q&A
1.4.5 이 책이 도움받고 있는 오픈소스들
1.5 이 책이 다루는 데이터와 주요 용어
1.6 이 장의 요약
1.7 참고 문헌

2장. 벡터가 어떻게 의미를 가지게 되는가
2.1 자연어 계산과 이해
2.2 어떤 단어가 많이 쓰였는가
2.2.1 백오브워즈 가정
2.2.2 TF-IDF
2.2.3 Deep Averaging Network
2.3 단어가 어떤 순서로 쓰였는가
2.3.1 통계 기반 언어 모델
2.3.2 뉴럴 네트워크 기반 언어 모델
2.4 어떤 단어가 같이 쓰였는가
2.4.1 분포 가정
2.4.2 분포와 의미 (1): 형태소
2.4.3 분포와 의미 (2): 품사
2.4.4 점별 상호 정보량
2.4.5 Word2Vec
2.5 이 장의 요약
2.6 참고 문헌

3장. 한국어 전처리
3.1 데이터 확보
3.1.1 한국어 위키백과
3.1.2 KorQuAD
3.1.3 네이버 영화 리뷰 말뭉치
3.1.4 전처리 완료된 데이터 다운로드
3.2 지도 학습 기반 형태소 분석
3.2.1 KoNLPy 사용법
3.2.2 KoNLPy 내 분석기별 성능 차이 분석
3.2.3 Khaiii 사용법
3.2.4 은전한닢에 사용자 사전 추가하기
3.3 비지도 학습 기반 형태소 분석
3.3.1 soynlp 형태소 분석기
3.3.2 구글 센텐스피스
3.3.3 띄어쓰기 교정
3.3.4 형태소 분석 완료된 데이터 다운로드
3.4 이 장의 요약
3.5 참고 문헌

4장. 단어 수준 임베딩
4.1 NPLM
4.1.1 모델 기본 구조
4.1.2 NPLM의 학습
4.1.3 NPLM과 의미 정보
4.2 Word2Vec
4.2.1 모델 기본 구조
4.2.2 학습 데이터 구축
4.2.3 모델 학습
4.2.4 튜토리얼
4.3 FastText
4.3.1 모델 기본 구조
4.3.2 튜토리얼
4.3.3 한글 자소와 FastText
4.4 잠재 의미 분석
4.4.1 PPMI 행렬
4.4.2 행렬 분해로 이해하는 잠재 의미 분석
4.4.3 행렬 분해로 이해하는 Word2Vec
4.4.4 튜토리얼
4.5 GloVe
4.5.1 모델 기본 구조
4.5.2 튜토리얼
4.6 Swivel
4.6.1 모델 기본 구조
4.6.2 튜토리얼
4.7 어떤 단어 임베딩을 사용할 것인가
4.7.1 단어 임베딩 다운로드
4.7.2 단어 유사도 평가
4.7.3 단어 유추 평가
4.7.4 단어 임베딩 시각화
4.8 가중 임베딩
4.8.1 모델 개요
4.8.2 모델 구현
4.8.3 튜토리얼
4.9 이 장의 요약
4.10 참고 문헌

5장. 문장 수준 임베딩
5.1 잠재 의미 분석
5.2 Doc2Vec
5.2.1 모델 개요
5.2.2 튜토리얼
5.3 잠재 디리클레 할당
5.3.1 모델 개요
5.3.2 아키텍처
5.3.3 LDA와 깁스 샘플링
5.3.4 튜토리얼
5.4 ELMo
5.4.1 문자 단위 컨볼루션 레이어
5.4.2 양방향 LSTM, 스코어 레이어
5.4.3 ELMo 레이어
5.4.4 프리트레인 튜토리얼
5.5 트랜스포머 네트워크
5.5.1 Scaled Dot-Product Attention
5.5.2 멀티헤드 어텐션
5.5.3 Position-wise Feed-Forward Networks
5.5.4 트랜스포머의 학습 전략
5.6 BERT
5.6.1 BERT, ELMo, GPT
5.6.2 프리트레인 태스크와 학습 데이터 구축
5.6.3 BERT 모델의 구조
5.6.4 프리트레인 튜토리얼
5.7 이 장의 요약
5.8 참고 문헌

6장. 임베딩 파인 튜닝
6.1 프리트레인과 파인 튜닝
6.2 분류를 위한 파이프라인 만들기
6.3 단어 임베딩 활용
6.3.1 네트워크 개요
6.3.2 네트워크 구현
6.3.3 튜토리얼
6.4 ELMo 활용
6.4.1 네트워크 개요
6.4.2 네트워크 구현
6.4.3 튜토리얼
6.5 BERT 활용
6.5.1 네트워크 개요
6.5.2 네트워크 구현
6.5.3 튜토리얼
6.6 어떤 문장 임베딩을 사용할 것인가
6.7 이 장의 요약
6.8 참고 문헌

부록
부록 A. 선형대수학 기초
1.1 벡터, 행렬 연산
1.2 내적과 공분산
1.3 내적과 사영
1.4 내적과 선형변환
1.5 행렬 분해 기반 차원 축소 (1): 주성분 분석(PCA)
1.6 행렬 분해 기반 차원 축소 (2): 특이값 분해(SVD)

부록 B. 확률론 기초
2.1 확률변수와 확률 분포
2.2 베이지안 확률론

부록 C. 뉴럴 네트워크 기초
3.1 DAG로 이해하는 뉴럴 네트워크
3.2 뉴럴 네트워크는 확률모델이다
3.3 최대우도추정과 학습 손실
3.4 그래디언트 디센트
3.5 계산 노드별 역전파
3.6 CNN과 RNN

부록 D. 국어학 기초
4.1 통사 단위
4.2 문장 유형
4.3 품사
4.4 상과 시제
4.5 주제
4.6 높임
4.7 양태
4.8 의미역
4.9 피동
4.10 사동
4.11 부정

부록 E. 참고 문헌
더보기

저자 소개 (2명)

출판사 리뷰 출판사 리뷰 보이기/감추기

이 책에서 다루는 내용

■ 자연어 처리의 첫 관문인 임베딩의 개념과 종류, 역사 소개
■ 임베딩이 어떻게 자연어 의미를 함축하는지 이론적 배경 풀이
■ 위키백과, KorQuAD 등 한국어 말뭉치 전처리 노하우 공유
■ KoNLPy, soynlp, 구글 센텐스피스(sentencepiece) 패키지 안내
■ Word2Vec, GloVe, FastText, Swivel 등 단어 수준 임베딩
■ LDA, Doc2Vec, ELMo, BERT 등 문장 수준 임베딩 설명
■ 개별 모델 학습과 동작 과정을 코드 레벨로 설명한 후 튜토리얼 진행
■ 문서 분류 태스크를 중심으로 임베딩 파인튜닝(fine-tuning) 실습

이 책은 다양한 임베딩 기법을 소개한다. 크게 단어 수준 임베딩과 문장 수준 임베딩을 다룬다. 각각 단어와 문장을 벡터로 변환하는 기법이다. 여기서 설명하는 단어 수준 임베딩으로는 Word2Vec, GloVe, FastText, Swivel 등이 있다. 문장 수준 임베딩은 ELMo, BERT 등이 있다. 이 책에서는 각 임베딩 기법의 이론적 배경을 살펴본 후 한국어 말뭉치로 실제 임베딩을 구축하는 과정을 설명한다. 각 기법을 설명할 때는 가급적 원 논문의 수식과 표기를 따른다. 코드 또한 논문 저자의 공식 리포지터리에서 가져와 소개할 예정이다.

말뭉치 전처리(preprocess), 임베딩 파인 튜닝(fine-tuning) 역시 이 책이 다루는 중요한 주제다. 전자는 임베딩 구축 전에, 후자는 임베딩 구축 후에 거쳐야 하는 과정이다. 전처리의 경우 KoNLPy, soynlp, 구글 센텐스피스(sentencepiece) 등 오픈소스 사용법을 설명한다. 긍정, 부정 등 문서의 극성(polarity)을 예측하는 문서 분류 과제를 예로 들어 임베딩을 파인 튜닝하는 방법을 실습한다.

각 장별 주요 내용은 다음과 같다.

1장, '서론'에서는 임베딩의 정의, 역사와 종류 등을 살핀다. 도커(docker) 등 개발 환경을 구성하는 과정 역시 설명한다.

2장, ‘벡터가 어떻게 의미를 가지게 되는가’에서는 자연어의 의미를 임베딩에 어떻게 함축시킬 수 있는지에 대한 내용을 소개한다. 각 임베딩 기법들은 크고 작은 차이가 있지만 말뭉치의 통계적 패턴(statistical pattern) 정보를 반영한다는 점에서 공통점을 지닌다는 사실을 짚는다.

3장, ‘한국어 전처리’에서는 임베딩 학습을 위한 한국어 데이터의 전처리 과정을 다룬다. 웹 문서나 json 파일 같은 형태의 데이터를 순수 텍스트 파일로 바꾸고 여기에 형태소 분석을 실시하는 방법을 설명한다. 띄어쓰기 교정 등도 소개한다.

4장, ‘단어 수준 임베딩’에서는 다양한 단어 수준 임베딩 모델을 설명한다. NPLM, Word2Vec, FastText 등은 예측 기반 모델, LSA, GloVe, Swivel 등은 행렬 분해(matrix factorization) 기반의 기법들이다. 가중 임베딩(weighted embedding)은 단어 임베딩을 문장 수준으로 확장하는 방법이다.

5장, ‘문장 수준 임베딩’에서는 문장 수준 임베딩을 다룬다. 행렬 분해(matrix factorization), 확률 모형, 뉴럴 네트워크 기반 모델 등 세 가지 종류를 소개한다. 잠재 의미 분석(LSA)은 행렬 분해, 잠재 디리클레 할당(LDA)은 확률 모델, Doc2Vec, ELMo, BERT 등은 뉴럴 네트워크가 중심인 방법들이다. 특히 BERT는 셀프 어텐션(self-attention) 기반의 트랜스포머 네트워크(transformer network)가 그 뼈대를 이루고 있다.

6장, ‘임베딩 파인 튜닝’에서는 단어, 문장 수준 임베딩을 파인 튜닝하는 방법을 다룬다. 네이버 영화 리뷰 말뭉치를 가지고 극성을 분류하는 과제를 수행한다.

‘부록’에서는 이 책을 이해하는 데 필요한 기초 지식을 간략하게 살펴본다. 선형대수학, 확률론, 뉴럴 네트워크, 국어학 등의 주요 개념을 설명한다.

한줄평 (2건) 한줄평 총점 10.0

혜택 및 유의사항 ?
평점5점
왜 한국어 ai가 제대로 안돌아가는지 쓰레기 양산시키는 공무원들 ㅅㅊ교육시키고 싶어지는 책
이 한줄평이 도움이 되었나요? 공감 0
s******r | 2020.09.05
구매 평점5점
한국어를 이용한 임베딩 관련 책은 이 책이 처음으로 그래서 더 뜻 깊고 내용 또한 좋았다.
이 한줄평이 도움이 되었나요? 공감 0
YES마니아 : 골드 a*******e | 2020.06.06
뒤로 앞으로 맨위로 aniAlarm