제인 오스틴(Jane Austen)이 탈고해 출판한 소설 여섯 개를 janeaustenr 패키지에서 가져온 다음 정돈 형식으로 변형해 보자. janeaustenr 패키지는 텍스트를 1줄당 1행(one-row-per-line) 형식으로 제공하는데, 이 맥락에서 의미하는 줄(line)이란 실제 도서의 원문에 맞춰 인쇄된 한 줄을 말한다. 이것을 사용해 정돈 작업에 착수하되 mutate()를 사용해 linenumber 수에 해당하는 만큼을 주석으로 처리함으로써 원래 줄 형식을 추적하는 데 사용하고, chapter(regex 사용)를 사용해 모든 장이 어디부터 나오는지를 알아낸다.
---p.6

이제 janeaustenr 패키지를 사용해 정돈 텍스트를 탐색해 보았으므로, 이번에는 gutenbergr 패키지를 소개하겠다. gutenbergr 패키지는 구텐베르크 프로젝트(Project Gutenberg) 모음집 중 공공 저작물(public domain works)에 해당하는 텍스트에 접근할 수 있게 한다. 이 패키지에는 도서를 내려받기 위한 도구(도움이 되지 않는 머리글/바닥글 정보는 제거)와 관심 있는 작품을 찾는 데 사용할 수 있는 구텐베르크 프로젝트 메타데이터의 전체 데이터셋이 포함되어 있다. 이 책에서는 구텐베르크 프로젝트에서 ID별로 하나 이상의 작품을 다운로드하는 gutenberg---p.download() 함수를 주로 사용하지만, 다른 함수를 사용해 메타데이터를 탐색하고 제목, 작성자, 언어 등과 짝을 이루는 구텐베르크 ID를 탐색할 수 있을 뿐만 아니라 저자에 대한 정보도 수집할 수 있다.
---p.10

유용한 작품을 단어 수준(word level)에서 토큰화할 수 있지만 때로는 다른 단위에 맞춰 텍스트를 살펴보는 편이 더 유용하기도 하고 필요하기도 하다. 예를 들어 전체 문장의 정서를 이해할 수 있게 하기 위해 일부 정서분석 알고리즘은 유니그램(즉, 단일 단어)을 넘어서려고 한다. 이러한 알고리즘들은 ‘I am not having a good day(일진이 안 좋아)’라는 말이 기쁨을 나타내는 문장이 아닌 슬픔을 나타내는 문장이라는 점을 이해하려고 시도한다. coreNLP, cleanNLP 및 sentimentr을 포함한 여러 R 패키지들은 그러한 정서분석 알고리즘의 예다. 이런 패키지들을 사용해서 단어 단위가 아닌 문장 단위로 정서를 분석하려면 우리는 텍스트를 문장 단위로 토큰화해야 하는데, 그런 경우에는 출력 열에 새 이름을 사용하는 게 적절하다.
---p.32

이번 장에서는 정돈 텍스트 접근법이 개별 단어를 분석하는 데 유용할 뿐만 아니라 단어 간의 관계 및 연결을 탐색하는 데도 유용하다는 것을 보여 줬다. 이러한 관계에는 엔그램이 포함될 수 있으며, 이는 어떤 단어가 다른 단어 뒤에 나타나는 경향이 있는지와, 서로 인접한 곳에 출현하는 단어 간의 동시 발생(co-occurrences), 즉 상관(correlations)을 볼 수 있게 해 준다. 이번 장에서는 이러한 두 종류의 관계를 연결망으로 시각화하기 위한 ggraph 패키지도 소개했다. 이러한 연결망 시각화는 관계를 탐구하는 데 쓰기에 유연한 도구이며, 이후 장들에 나오는 사례 연구에서 중요한 역할을 수행한다.
---p.81

일련의 문서를 특징짓는 단어 군집을 찾기 위한 토픽 모델링을 소개하고, tidy() 동사가 dplyr 및 ggplot2를 사용해 이러한 모델을 탐색하고 이해하는 방법을 보여 줬다. 이는 모델 탐색에 대한 정돈된 접근법의 장점 중 하나다. 다양한 출력 형식의 문제를 정돈 함수들이 처리하고, 표준 도구 모음을 사용해 모델 결과를 탐색할 수 있다는 장점 말이다. 우리는 특히 토픽 모델링을 통해 네 개의 개별 도서와 장을 구분하고 구별할 수 있다는 점을 보았고, 잘못 지정된 단어와 장을 찾아보면서 모델의 한계점을 탐구했다.