이 책의 대상 독자

분산 데이터 환경에서 배치 데이터 처리와 실시간 데이터 처리에 관심이 많은 빅데이터 개발자를 위한 책이다. 또한 분석 솔루션을 상용화, 산업화하고자 하는 데이터 과학자에게도 적합하다.

이 책의 구성

1장, ‘아파치 플링크 소개’에서는 플링크에 관한 역사, 아키텍처, 특징을 소개한다. 아울러 단일 노드와 다중 노드에서 아파치 플링크를 어떻게 설치하는지도 알아본다.
2장, ‘DataStream API를 이용한 데이터 처리’에서는 플링크의 스트리밍에 대한 개념을 자세히 다룬다. DataStream API에서 사용할 수 있는 데이터 소스, 트랜스포메이션, 데이터 싱크에 대해서도 배울 것이다.
3장, ‘배치 프로세싱 API를 이용한 데이터 처리 배치’에서는 처리용 API인 DataSet API를 소개한다. DataSet API에서 사용할 수 있는 데이터 소스, 트랜스포메이션, 데이터 싱크에 대해 배운다. 또한 API에 대해 사용할 수 있는 커넥션에 대해서도 살펴본다.
4장, ‘Table API를 이용한 데이터 처리’에서는 플링크 데이터 처리 프레임워크로 SQL 개념을 어떻게 사용하는지 알아본다. 실제 사례에 이 개념을 어떻게 적용시키는지도 학습한다.
5장, ‘CEP(Complex Event Processing)’에서는 플링크 CEP 라이브러리를 이용해 CEP 문제를 어떻게 해결하는지에 관한 통찰력을 얻을 수 있을 것이다. 패턴 정의, 추적, 경고 생성에 대해서도 배운다.
6장, ‘FlinkML을 이용한 머신 러닝’에서는 머신 러닝의 개념에 대해 자세히 알아보고, 실제 사례에 다양한 알고리즘들을 어떻게 적용하는지 다룬다.
7장, ‘플링크 그래프 API - Gelly’에서는 그래프의 개념에 대해 소개하고, 플링크 Gelly가 해결할 수 있는 실제 사례를 알아본다. 이를 통해 플링크가 그래프를 처리하는 방법을 알 수 있을 것이다.
8장, ‘플링크와 하둡을 이용한 분산 데이터 처리’에서는 플링크 잡을 처리하기 위해 기존의 하둡-YARN 클러스터를 어떻게 사용하는지 자세히 다룬다. YARN에서 플링크가 어떻게 동작하는지도 상세하게 설명한다.
9장, ‘클라우드상에서 플링크 배포’에서는 클라우드에서 플링크를 배포하는 방법을 소개한다. 구글 클라우드(GCP)와 아마존 웹 서비스상에서 플링크를 어떻게 사용하는지도 자세히 설명한다.
10장, ‘모범 사례’에서는 플링크를 효율적으로 사용하기 위해 개발자들이 준수해야 할 다양한 모범 사례를 다룬다. 플링크 환경을 제어하기 위한 로깅, 모니터링에 관련된 모범 사례도 설명한다.


지은이의 말

이 책은 아파치 플링크를 통해 배치 데이터 처리와 스트림 데이터 처리를 어떻게 하는지에 대한 전반적인 가이드를 제공한다. 아파치 플링크 에코 시스템 소개를 시작으로, 배치 데이터세트와 스트림 데이터세트를 위해 DataSet API와 DataStream API의 설치와 사용법을 소개한다. 플링크에서 SQL의 장점을 극대화할 수 있도록 데이터를 쿼리하고 조작할 수 있는 Table API에 대해서도 알아본다. 책의 후반부에서는 이벤트 처리, 머신 러닝, 그래프 데이터 처리 같은 복잡한 작업을 해내는 데 필요한 아파치 에코 시스템의 구성 요소에 대해 배운다. 책의 끝에서는 다양한 주제를 다룬다. 이를테면 확장성을 고려한 플링크 활용 방안, 성능 최적화 등이 있다. 아울러 하둡, 일래스틱서치, 카산드라, 카프카 같은 다른 툴과 플링크를 어떻게 연동, 통합하는지도 다룬다.
아파치 플링크에 대해 더 깊이 있게 알고 싶거나 어떻게 하면 더 잘 활용할 수 있을지 고민하고 있다면, 이 책에서 해답을 찾을 수 있으리라 생각한다. 이 책에서는 여러 가지 실제 사례를 다루고 있으며, 이를 통해 그러한 궁금증들을 하나씩 해소할 수 있을 것이다.

옮긴이의 말

단순히 대용량이라는 개념을 넘어 ‘빅데이터’라는 용어가 사용된 것은 불과 10년 정도지만, 그동안 데이터 처리/분석 기술은 대단한 혁신을 이룬 듯 하다. 최근 IoT와 미디어 분야의 산업이 급속도로 커지면서, 배치(Batch) 방식을 이용한 대량 데이터 처리/분석보다 실시간, 대용량 스트리밍 데이터 처리, CEP(Complex Event Processing)의 중요성이 날로 높아지고 있다. 스트리밍 데이터 처리/분석에 대해서는 스톰(Storm), 스파크 스트리밍(Spark Streaming), 아파치 에이펙스(Apex) 등 유명한 솔루션이 많지만, 이 중에서도 아파치 플링크(Flink)는 단연 스트리밍에 최적화된 솔루션이라고 할 수 있다.
특히, 다양한 분석 기능을 제공하면서 점차 응용 분야를 확대해나가고 있는 점에도 주목할 필요가 있다.
이 책은 아파치 플링크의 기본 개념을 친절하게 소개하고 있다. 또한 플링크를 보다 빠르고 쉽게 익힐 수 있도록 다양한 기능에 관한 자세한 설명과 많은 예제 코드를 제공하고 있다. 그동안 상대적으로 플링크에 관한 서적이 거의 없었는데, 이 책이 가뭄의 단비 같은 역할을 해줄 것으로 생각된다. 아울러 플링크의 확산에도 많은 도움이 될 것으로 기대한다.