실시간성이 필요한 빅데이터 처리에 강점을 갖는 아파치 스파크는 국내에서도 금융권 등에서 널리 쓰이고 있다. 최근 게시물 내용을 활용한 빅데이터 처리를 스터디할 일이 생겨 자료를 찾던 중에 스파크 NLP 책이 발간된 것을 보고 매우 반가웠다. 더욱이 스칼라가 아닌 파이썬 기반의 설명으로 구성되어 있어 파이썬에 익숙한 사람들에게 더 유용할 것 같았다.

아파치 스파크를 처음 접하는 사람들을 위해 기본 환경 설정을 설명하는 부분부터 딥러닝 기초인 신경망을 기본 스파크 NLP 라이브러리를 이용해 소개하는 부분이 포함되어 있다. 2부에서는 NLP 기술에 사용되는 여러 기법들, 단어처리와 정보검색, 분류와 회귀시퀀스, 정보 추출, 단어 임베딩 등의 주제를 다루고 있어 실제 적용에 필요한 기술을 차근차근 배울 수 있었다.

실제 적용을 다루는 3부에서는 솔루션을 구현하는 데 필요한 설계 과정과 제약조건을 해결하는 방법을 의사결정 과정을 포함하여 기술하고 있어 실 모델 구현에 많은 도움을 받을 수 있었다. NLP 시스템을 기반으로 하여 최종 제품을 만들어내는 과정까지 빠지지 않고 4부에서 기술하고 있다. 

스파크 기반의 NLP 모델 구축 뿐 아니라 NLP의 기본적인 기술, 구현 과정을 익힐 수 있는 구성으로 되어 있어 큰 도움이 되었다. 

"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

 "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

장점

1. 기존의 자연어 처리를 위한 전처리, 분석, 시각화, 학습에 대한 서적이 보통 R언어에 치우쳐져 있으며 Python의 경우 서적이 별로 없고 Sklearn, nltk 등을 통해 분석을 하였는데 해당 책에서는 Spark를 집중 활용하여 자연어를 처리하는 것을 보여주어 기존에 나와있는 파이썬 관련 자연어 처리 입문 서적 중 최고라고 생각함

2. TF-IDF, 코사인 유사도, n-gram 등 분석하는 방법들이 자세하게 나와 있어 자연어 처리 입문자가 보면 좋은 내용들이 많음

단점

1. 데이터가 영어로 진행되어 한국어로 해보고 싶으면 개인적으로 찾아보면서 해야됨

2. 분석에 집중한 책인지 학습하는 방법이나 응용해보는 구간이 간략하게 되어 있음

후기

1. 자연어 처리의 경우 그나마 괜찮은 서적들이 R언어로 되어 있으며 Python을 활용해 보고 싶어 검색을 통해 sklearn, nltk, konlp 등을 활용해본 경험이 있는데 이 책이 좀더 일찍 나왔다면 이 책을 사서 공부를 했을 정도로 자연어 처리 입문서적으로 훌륭한 서적인거 같다.

현업에서 Spark를 사용해 빅데이터 분석을 하고 있지만, 자연어 처리에 대한 경험은 없어서 공부를 위해 이 책을 보게 되었습니다.

Spark 설치로 이 책의 자연어 처리 실습들을 진행 할 수 있어서, 흥미를 잃지 않고 빠르게 진행할 수 있었습니다.

Spark는 빅데이터 분석 플랫폼입니다. 큰 데이터도 별도 구현없이 분할해서 빠르게 분석 할 수 있습니다.

그리고 Spark의 ML 라이브러리로 간단하게 머신러닝/딥러닝을 활용할 수 있습니다.

이 책을 보면서, Spark가 머신러닝/딥러닝 분석을 시작하는 분들에게 가장 좋은 환경을 만들어 주는 플랫폼이라는 생각이 들었습니다.

Chapter 2에서 자연어처리/딥러닝 기초에 대한 내용을 설명하고, 이 후에 텍스트 전처리, 언어 모델, 표현 등의 일련의 과정들을 구현해 볼 수 있게 되어 있습니다.

영화 리뷰 분석, 검색 엔진, 챗봇 및 이미지에서 텍스트 추출 등 여러 애플리케이션을 개발할 수 있는 예제도 있어서 자연어 처리를 경험하기에는 좋은 구성이였습니다.

자연어 처리에 대한 이해가 있다면, 여러 재밌는 데이터 분석들을 할 수 있습니다.

자연어 처리를 시작하려는 분들에게 이 책을 추천합니다.

2021년 8월에 출간된 ＜스파크를 이용한 자연어 처리＞에 대해 소개합니다. 이 책의 부제는 '대규모 텍스트를 다루는 가장 효율적인 딥러닝을 만나다'입니다. 필자는 자연어 처리를 온톨로지를 학습할 때 경험해 봤었습니다. 이 책은 자연어 처리를 스파크 기반 위에서 할 수 있는 라이브러리인 Spark NLP에 대해 소개하는 책입니다. 

이 책의 저자는 'Alex Thomas'이며, 원서는 아마존 리뷰에서 높은 점수(9점)를 받았습니다. 역자는 이창현 님으로 번역에 대해서는 개인적으로 호불호가 있을 것으로 판단합니다.

＜스파크를 이용한 자연어 처리＞는 440 페이지로 구성되어 있어 휴대하면서 읽기에 부담스럽지 않습니다. 다만 최근 출시된 한빛미디어 책은 전차책으로도 출간되므로 전자책을 읽을 수 있는 장치를 보유하신 분이라면 전자책으로 만나보는 것도 좋을 것 같습니다.

한빛미디어 평가단에 참가하여 작성한 글이며, 한빛미디어에서 제공해준 책을 읽고 작성했음을 밝힙니다. 
 

이 책의 매력은?

＜스파크를 이용한 자연어 처리＞는 자연어 처리 기초와 주요 알고리즘, 그리고 Spark NLP 라이브러리에 대해 학습하는 책입니다.

＜스파크를 이용한 자연어 처리＞는 4부 19개의 챕터로 구성되어 있습니다. 1부에서는 자연어 처리를 기본 개념과 지식, 그리고 딥러닝에 대해 간략히 소개합니다. 2부에서는 NLP 애플리케이션을 제작하기 위한 기술과 작동원리를 다룹니다. 3, 4부에서는 NLP 애플리케이션을 예제를 활용하여 직접 작성해보고 고려해야 할 사항들을 소개합니다. 이 책은 NLP 학습과 스파크를 활용한 NLP 애플리케이션 제작에 좋은 참고자료가 될 것 같습니다. 

저는 이 책을 제대로 소화하기 위해서는 기본적인 CS에 대한 지식이 필요하다고 생각합니다. CS에 대한 기초 지식이 부족하면 이 책에서 설명하는 내용을 소화하기가 어려울 것으로 판단합니다. 이 책의 주제가 쉬운 주제는 아니지만, 조금 꼼꼼하게 독자를 배려했으면 하는 아쉬움은 있습니다.

아래 위 이미지는 이 책의 그림 1-1입니다. 하지만 코드를 실행해서 나온 결과는 아래 이미지입니다. 코드에 대해 이해를 하고 이 책을 읽었다면, 우측 이미지가 제대로 나온 결과물임을 알 수 있겠지만 그렇지 않은 독자들은 당황스러울 수 있습니다.

위의 예처럼 저자가 설명을 전개하는 부분에서 아쉬움이 느껴집니다.
 

마치면서

＜스파크를 이용한 자연어 처리＞의 원서가 출간된 시점은 약 1년 전입니다. 이 문제로 말미암아, 컴퓨터에 익숙하지 않은 분들이라면 이 책에서 제공하는 개발 환경을 제대로 구축하고 실습을 원활히 진행하기에는 어려움이 있을 수도 있습니다. 필자가 추천하는 방법은 Google Colab을 활용하는 방법입니다. Google Colab을 이용하는 방법은 Github의 colab 디렉토리에 있는 자료를 활용하면 됩니다. 

＜스파크를 이용한 자연어 처리＞는 스파크 기반 환경에서 NLP를 효과적으로 학습하는 데 도움을 주는 책입니다. 이 책을 통해 새로운 라이브러리(Spark NLP)를 알게 되었습니다. 앞으로 자연어 처리가 필요할 때 이 라이브러리를 활용해보고 싶습니다. 개인적으로는 파이선으로 작성된 예제를 스칼라로 변경해 보고 싶습니다. 

 "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

안녕하세요! 한빛미디어 도서 서평단 나는 리뷰어다 2021 멤버로서 작성하는 여섯 번째 리뷰입니다 :)

이번에 제가 리뷰할 책은 스파크를 이용한 자연어 처리입니다. 저는 8월부터 2021 오픈소스 컨트리뷰션 아카데미 NLP with U 팀의 (어쩌다보니) 리드멘티로 참여하고 있는데, 그동안 웹과 모바일 프로그래밍만 공부하다가 지난 학기에 컴파일러 수업을 흥미롭게 듣고 관심이 생겨 지원한 것이라 자연어 처리 분야에 대한 지식은 거의 없이 오픈소스 NLP 도구만 조금 써 본 상태였습니다. 그래서 미팅 때 멘토님과 다른 멘티님들이 말씀하시는 내용을 이해하고 따라가기에는 어려움이 있었는데 마침 자연어 처리 내용을 다루는 이 책을 보고 선택했는데 마침 원하던 책을 리뷰할 수 있게 되어 기뻤습니다!

이 책은 약 430 페이지의 분량의 책으로 19개의 챕터에 걸쳐 자연어 처리에 유용한 Spark NLP로 효율적인 자연어 텍스트 분석 애플리케이션을 설계하고 제작하는 방법을 구체적인 예제와 설명을 통해 기본적인 언어학과 문자 체계부터 감성 분석, 검색엔진 구축까지 다양한 부분을 성능 문제까지 고려하여 다룹니다.

이번에도 어김없이 목차부터 꼼꼼하게 살펴봤는데 감성 분석과 감지, 검색엔진, 챗봇, 객체 문자 인식, 다국어 지원 등 흥미로운 챕터명에 눈길이 가는데 여러분은 어떤 챕터에 관심이 있으신가요? 저는 얼른 애플리케이션을 개발해보고 싶었습니다.

종종 처음 환경 세팅할 때 막혀버려서 진도를 못 나가면 지쳐서 흥미를 잃게 되는데 저는 이번에도 이 부분에서 많은 고생을 했습니다. 그래도 끈기를 가지고 구글링을 통해 해결했습니다ㅎㅎ 아무래도 독자마다 처한 환경이 달라서 발생한 문제이니 어쩔 수 없는 것 같습니다^^

이론적인 부분에 대한 설명도 있지만 역시 흥미롭게 빠르게 공부하기에는 애플리케이션을 구현해보는 것만한 게 없다고 느꼈습니다. 평소에 선택이 필요한 상황에서 리뷰와 피드백을 꼼꼼히 살피는 편이고 개발할 때도 사용자의 리뷰와 피드백에 관심이 많은 편이라 감성 분석과 감지 파트에 특히 관심이 갔는데 애플리케이션을 개발할 때 문제와 제약 조건을 먼저 살펴보고 프로젝트를 계획한 다음, 솔루션을 구현하고 테스트 및 측정과 검토까지 단계적으로 다뤄주어 이 책을 통해 빠르게 전반적인 자연어 처리를 공부하고 적용해보는데 도움이 되었습니다 :)

아직은 모르는 것이 많지만 그래도 이 책 덕분에 이제는 미팅 때 오가는 용어들에 대해 조금은 귀가 트인 것 같습니다. 저처럼 자연어 처리 분야에 관심을 가지시기 시작한 분들에게 간단한 애플리케이션을 만들어보며 전반적인 내용을 알아가기에 좋다고 생각하여 추천합니다!

"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

이 책, "스파크를 이용한 자연어 처리 Spark NLP"를 보면 대규모 텍스트를 다루는 가장 효율적인 딥러닝을 만나다. 라고 되어있다. 하지만 이 책에서는 대규모 텍스트를 다루지 않는다. 스파크는 다음 그림과 같이 대규모 데이터를 다루는데 최적화 되어있는 엔진이다.

하지만 이 책에서는 스파크를 설정해 HDFS에서 부터 시작해 셋팅하는 법을 다루는 것은 물론이며 부족한 설명, 정확하지 않는 설명, 어색한 번역체, 문맥에 맞지 않게 나오는 단어와 문장들이 완성된 책이라고 보기에는 너무나 부족한 책이라는 느낌을 준다. NLP 용어에 대한 전반적인 내용을 배우기에는 괜찮은 책이지만... 통일성도 없고... 급하게 낸 책인가? 싶을 정도로 너무나도 부족한 책이였다.