이 책의 구성은 다음과 같다.

1장, ‘텍스트 분석의 이해’
텍스트 분석 분야에서 지금과 같은 시기는 없었다. 쉽게 이용할 수 있는 데이터, 분석과 연구를 위해 사용할 수 있는 머신 러닝, 컴퓨터 언어학 이론과 텍스트 컴퓨터 처리를 수행할 수 있는 강력한 오픈 소스 도구들이 산재해 있고 이전에 보지 못한 속도로 발전하고 있다. 1장에서는 텍스트 분석이 정확히 무엇인지, 텍스트 분석을 배우는 동기와 이유가 무엇인지에 대해 자세히 알아본다.

2장, ‘텍스트 분석을 위한 파이썬 팁’
1장, ‘텍스트 분석의 이해’에서 텍스트 분석을 수행하기 위해 강력하고 사용하기 쉬운 언어인 파이썬을 사용해볼 것이라고 했다. 2장에서는 이를 확인하면서 텍스트 분석을 위해 알아둬야 할 기본적인 파이썬 활용법에 대해 다룬다. 이것이 중요한 이유는 무엇일까? 독자 여러분이 파이썬에 대한 기본적인 지식과 고등학교 수준의 수학적 배경이 있다고 가정하지만 텍스트 분석을 위해 파이썬 코드를 작성하고 문자열을 다루는 것은 웹 프레임워크인 장고(Django)를 사용해 웹 사이트를 구축하는 것과는 아주 다르다.

3장, ‘스파이시 언어 모델’
2장, ‘텍스트 분석을 위한 파이썬 팁’에서 텍스트 분석에 대해 소개할 때 텍스트 분석 파이프라인을 위해 필요한 상세한 기술적 내용은 다루지 않았다. 3장에서는 스파이시 언어 모델을 소개한다. 이 모델은 텍스트 분석의 첫 번째 단계에서 사용되며 파이프라인의 첫 번째 구성 요소가 된다. 또한 스파이시를 통해 텍스트 분석 작업을 수행하는 방법과 품사 태깅이나 NER과 같은 강력한 기능에 대해서도 알아본다. 마지막으로 스파이시를 효율적으로 사용하고 데이터를 빠르게 전처리하는 예제를 다룬다.

4장, ‘젠심-텍스트 벡터화, 변환 및 N-그램’
지금까지는 원시 텍스트 데이터를 다뤘지만 머신 러닝이나 정보 검색(IR, Information Retrieval) 알고리즘은 이와 같은 데이터를 사용하지 않는다. 따라서 알고리즘이 텍스트 데이터를 다룰 수 있도록 벡터라 불리는 수학적 구조를 이용해 변환해야 한다. 이런 변환을 수행하는 도구인 젠심과 추가 분석 단계의 앞 단계에 연결할 사이킷런을 소개한다. 전처리의 큰 부분은 유용하지 않다고 생각되는 단어들을 빈도수를 참조해 제거하는 것이고 이를 통해 바이그램, 트라이그램, N-그램과 같은 벡터화 작업을 시작할 수 있다.

5장, ‘품사 태깅 및 응용’
1장, ‘텍스트 분석의 이해’와 2장, ‘텍스트 분석을 위한 파이썬 팁’은 텍스트 분석과 파이썬에 대한 소개이고 3장, ‘스파이시 언어 모델’과 4장, ‘젠심-텍스트 벡터화, 변환 및 N-그램’은 좀 더 향상된 텍스트 분석을 구성할 수 있게 도와준다. 5장에서는 이런 향상된 기술의 첫 번째인 품사 태깅에 대해 설명한다. 품사 태깅이 무엇인지, 문서에서 어떻게 품사를 찾는지 그리고 품사 태깅이 어떻게 사용되는지 알아본다.

6장, ‘개체명 인식 및 응용’
5장, ‘품사 태깅 및 응용’에서 스파이시 언어 파이프라인을 이용해 매우 강력한 도구인 품사 태깅을 수행하는 방법을 알아봤다. 이제 또 다른 주제인 개체명 인식(NER, Named-Entity-Recognition)에 대해 알아본다. 언어학 및 텍스트 분석 관점에서 NER이 정확히 어떤 뜻을 갖는지 논의하고 실제 사용 예제를 다뤄본 후 스파이시를 이용해 자신의 개체명 인식기(Stanford Named Entity Recognizer)를 학습하는 법에 대해서도 배운다.

7장, ‘의존 구문 분석’
5장, ‘품사 태깅 및 응용’과 6장, ‘개체명 인식 및 응용’에서 스파이시 파이프라인이 어떻게 복잡한 컴퓨터 언어 알고리즘인 품사 태깅과 NER을 수행하는지 살펴봤다. 하지만 이것이 스파이시 기능의 전부가 아니다. 7장에서 의존 구문 분석(dependency parsing)의 강력함과 얼마나 다양한 상황과 응용에서 활용될 수 있는지 살펴본다. 스파이시를 사용하기 전에 의존 구문 분석의 이론을 살펴보고 자신만의 의존 구문 분석기를 학습한다.

8장, ‘토픽 모델링’
지금까지 컴퓨터 언어학 알고리즘과 스파이시를 다뤘고 컴퓨터 언어 알고리즘을 통해 데이터에 주석을 다는 방법과 문장의 구조를 이해하는 방법을 배웠다. 이 알고리즘이 텍스트의 좀 더 상세한 정보를 찾는 방법을 이해하는 데 도움이 됐지만 데이터의 큰 그림을 이해하는 데는 아직 미치지 못했다. 말뭉치에서 어떤 단어가 다른 단어보다 자주 나타나는가? 데이터를 그룹화하거나 숨은 테마를 찾을 수 있는가? 8장에서 이런 질문에 대한 답변과 그와 연관된 상세한 내용을 파헤쳐본다.

9장, ‘고급 토픽 모델링’
8장에서 토픽 모델의 강력함과 데이터에 대해 이해하고 탐색하는 데 얼마나 직관적인 도움이 되는지 알아봤다. 9장에서는 토픽 모델의 효용성과 말뭉치에서 제공하는 주제를 캡슐화하는 데 유용하게 쓰이는 토픽 모델을 생성하는 방법을 알아본다. 토픽 모델은 말뭉치에 포함된 문서를 이해하는 방법이므로 이전에 하지 않았던 방식으로 문서를 해석할 수 있다는 의미를 갖는다.

10장, ‘텍스트 군집화 및 분류’
9장, ‘고급 토픽 모델링’에서 토픽 모델링과 문서와 하위 구조를 조직화하고 이해하는 데 도움이 되는 방법들에 대해 알아봤다. 이제 머신 러닝을 이용한 두 가지 특별한 작업인 군집화와 분류에 대해 알아본다. 이 두 작업의 직관적 이론이 무엇인지 그리고 유명한 파이썬 머신 러닝 라이브러리인 사이킷런을 이용해 어떻게 수행할 수 있는지 알아본다.

11장, ‘유사 질의 및 요약’
일단 문서를 벡터 형태로 표현하기 시작하면 문서 간의 유사도나 거리를 찾을 수 있는데 이것이 바로 11장에서 배울 내용이다. 이제 표준 bog-of-word 또는 텍스트 문서의 토픽 모델 표현을 위한 TF-IDF와 같은 여러 가지 다른 벡터 표현법에 대해 알게 될 것이다. 또한 젠심에서 매우 유용한 특징 구현 방법에 대해 배우고 문서 요약과 키워드 추출 작업에서 이를 사용해볼 것이다.

12장, ‘Word2Vec, Doc2Vec과 젠심’
이 책의 앞 부분에서 벡터에 대해 많은 얘기를 나눴다. 벡터는 수학적 형태로 텍스트 데이터를 이해하고 표현하는 데 사용하며 이 표현은 모든 머신 러닝 방법에서도 기반이 된다. 한 단계 더 나아가 단어의 의미를 더 잘 내포하고 있는 벡터 표현을 생성하기 위해 머신 러닝 기술을 사용한다. 이 기술을 일반적으로 워드 임베딩이라고 하는데 Word2Vec(워드투백)과 Doc2Vec(독투백)이 가장 유명한 방법이다.

13장, ‘텍스트를 위한 딥러닝’
지금까지 토픽 모델링, 군집화, 분류, 텍스트 요약 등 여러 가지 의미에서 텍스트 데이터를 다루기 위한 머신 러닝의 활용에 대해 살펴봤다. 또한 품사 태깅과 개체명 인식기를 머신 러닝을 통해 직접 수행해봤다. 13장에서는 머신 러닝의 최첨단 기술 중 하나인 딥러닝에 대해 알아본다. 딥러닝은 생물학적 구조에서 영감을 얻어 만들어진 알고리즘으로, 텍스트를 이용한 작업을 수행하도록 도와주는 알고리즘이자 구조를 갖는 머신 러닝의 한 형태다. 이 작업 중 일부는 텍스트 생성, 분류 및 워드 임베딩이다. 13장에서는 딥러닝의 기초적인 내용과 텍스트를 위해 자신만의 딥러닝 모델을 구현하는 방법에 대해 알아본다.

14장, ‘케라스와 스파이시를 이용한 딥러닝’
13장에서 텍스트 데이터를 위한 딥러닝 기법에 대해 소개했고 신경망을 맛보기 위해 순환 인공 신경망(RNN, Recurrent Neural Networks)을 이용해 텍스트 생성을 시도해봤다. 14장에서는 텍스트를 위한 딥러닝 기술과 분류를 위해 케라스 모델을 설정하고 딥러닝을 위해 스파이시 파이프라인과 통합하는 방법을 알아본다.

15장, ‘감정 분석과 챗봇’
지금까지 텍스트 분석 과제를 시작할 수 있는 다양한 요소 기술을 갖췄으므로 이제 좀 더 복잡하고 무게감 있는 프로젝트에 대해 고려해볼 필요가 있다. 책 전반에 걸쳐 탐구해온 많은 개념들을 요약한 일반적인 2개의 텍스트 분석 프로젝트는 감정 분석과 챗봇이다. 이미 이 프로젝트를 위한 방법들을 대부분 다뤄봤고 15장에서는 어떻게 스스로 이러한 애플리케이션을 구성할 수 있는지에 대한 가이드를 제공한다. 챗봇이나 감정 분석 파이프라인을 구성하기 위해 필요한 코드를 모두 제공하지는 않지만 독자들이 이러한 프로젝트를 구성할 때 도움이 되는 다양한 기법에 대해 소개한다.