■ 인프라스트럭처: 서버부터 데이터센터에 이르기까지, 기업 데이터를 위한 견고한 기반을 확립하는 모던 데이터 플랫폼을 구성하는 모든 컴포넌트 계층
■ 플랫폼: 배포, 운영, 보안, 고가용성, 재해 복구를 비롯해 기업 IT 환경에 플랫폼을 융합하기 위해 알아야 할 모든 것
■ 클라우드 기반의 하둡: 기업이 요구하는 보안 및 고가용성을 확보한 빅데이터 플랫폼을 클라우드 상에서 운영하기 위해 알아야 할 중요한 아키텍처적 요소들

[이 책의 구성과 독자대상]
1부에서는 기반 인프라스트럭처에 대한 이해를 통해 클러스터에 대한 견고한 기반을 확립한다. 2부에서는 플랫폼을 전체적으로 살펴보고 외부 시스템과 부드럽게 통합되는 견고한 클러스터를 구현하는 방법을 알아본다. 3부에서는 하둡을 클라우드에서 운영할 때 아키텍처 면에서 중요한 내용을 다룬다. 또한 하둡과 하둡 생태계에 대한 입문 수준의 기술적인 내용들도 다룬다.

◆ IT 관리자
기업에서 하둡 클러스터를 운영하는 책임을 가진 독자: 1장, 2장, 5장, 14장

◆ 엔터프라이즈 아키텍트
하둡 클러스터 통합 및 다른 기업용 시스템과의 연동을 모든 면에서 관리하며 클러스터를 기업 표준에 따라 운영하고 관리해야 하는 독자: 1~4장, 6~7장, 9~18장

◆ 애플리케이션 아키텍트와 데이터 엔지니어
차세대 데이터 기반 애플리케이션을 디자인하는 개발자와 아키텍트로서 하둡을 위한 코드를 작성하고 그 역량의 장점을 취하고자 하는 독자: 1~2장, 9~13장, 17~18장

◆ 시스템 관리자와 데이터베이스 관리자(DBA)
클러스터의 운영 및 모니터링을 책임지며 클러스터 컴포넌트들의 동작 방식과 기반 하드웨어 및 외부 시스템과의 통합에 대한 깊은 이해가 필요한 독자: 1장, 2장, 3장, 6~18장

[지은이의 글]
오늘날 업계의 트렌드는 명확하다. 대부분은 아니더라도 많은 기업이 이미 데이터에 기반해 운영되고 있으며, 하드웨어, 소프트웨어, 서비스에 상당한 투자를 진행하고 있다. 빅데이터 시장은 빠른 속도로 성장하고 있으며, 2025년에는 연간 소득이 900억 달러 규모에 이를 전망이다. 데이터 플랫폼으로 인해 가능해진 딥러닝과 인공지능 같은 관련 시장도 향후 십 년간 폭발적으로 성장할 것으로 보인다.
하둡으로, 그리고 모던 데이터 플랫폼으로의 전환은 기업 IT 환경의 몇 가지 트렌드와 복합적으로 이루어진다. 이런 트렌드는 빅데이터에 집중하면서 직접적으로 나타난 것도 있지만, 그 외에도 소프트웨어 비용 절감, IT 운영의 집중 및 간소화, 새로운 하드웨어와 자원을 취득하는 데 필요한 시간의 획기적인 감소 등과 같은 여러 요소가 복합적으로 작용한 결과이기도 하다.
이 책을 집필하는 동안 우리 저자들은 이 책의 제목을 정하느라 고심했다. 초고를 본 독자라면 눈치챘겠지만 이 책의 원래 제목은 ‘엔터프라이즈 환경에서의 하둡(Hadoop in the Enterprise)’였다. 하지만 사실 클러스터는 HDFS(하둡 분산 파일시스템)이나 얀(YARN), 맵리듀스보다 훨씬 더 큰 개념이다. 물론 여전히 이 플랫폼들을 하둡 클러스터라고 부르지만, 우리에게 하둡 클러스터란 하둡, 하이브, 스파크, HBase, 솔라(Solr)를 비롯한 모두를 의미한다. 모던 데이터 플랫폼은 다양한 기술로 구성되며 이들을 모두 통합하는 것은 매우 어려운 일이다.
여러분은 하둡 및 관련 기술에 대한 또 다른 책이 왜 더 필요한지도 궁금할 것이다. 하둡과 관련해서는 이미 (심지어 충분하고도 남을 만큼) 많은 강좌나 블로그, 컨퍼런스 등에서 다루지 않았던가? 물론 그 말이 맞다. 하둡과 관련 기술들의 내부 동작과 데이터 애플리케이션 엔지니어링, 그리고 이들을 새로운 상황에 적용하는 방법 등을 설명하는 자료는 이미 충분하다. 게다가 시스템 관리자를 위한 클러스터 운영에 관련된 자료들도 있다. 하지만 하둡 클러스터를 기업 환경에 성공적으로 융합하는 것과 관련된 콘텐츠는 충분하지 않다.
이 책을 집필한 목적 중 하나는 모던 엔터프라이즈 데이터 플랫폼을 설계하고 구축하고 통합해서 운영하기 위한 지식을 제공하기 위함이다. 지난 5년간 하둡 및 관련 서비스들에 대한 전문적인 서비스를 제공한 경험에 빗대어보면, 아키텍트와 전문가들을 위한 가이드는 턱없이 부족하다. 이런 작업을 누군가의 도움 없이 진행하면, 중대한 아키텍처적인 실수나 실망스러운 애플리케이션 성능, 플랫폼이 아직은 기업 환경에 부적합하다는 잘못된 편견이 불거진다. 이 책은 빅데이터로의 전환, 특히 하둡으로의 전환을 최대한 원활히 진행할 수 있도록 돕기 위해 집필했다.

[옮긴이의 글]
빅데이터라는 용어는 이미 수년 전부터 일상 생활에서까지 사용될 정도로 보편화되었습니다. 간혹 잘못 사용되는 경우도 없지는 않지만 빅데이터는 이제 정치, 사회, 경제, 문화, 과학 기술 등 거의 모든 영역에 걸쳐서 가장 중요한 키워드 중 하나로 자리잡고 있죠.
가장 큰 이유는 일상 생활의 많은 부분에서 데이터의 중요성이 부각되었기 때문입니다. 때문에 많은 기업들이 데이터 주도Data-Driven 문화를 도입하며 빅데이터 분석을 통해 더욱 편리한 사용자 경험의 제공, 제품과 서비스의 개선, 나아가 더 많은 이익 창출을 위해 노력하고 있습니다. 이 모든 노력의 근간에는 각 기업들이 오랜 시간을 들여 수집해 온 데이터가 있습니다.
하둡은 초기부터 빅데이터 솔루션으로 많은 관심을 받으며 빠르게 성장해 온 기술이자 프레임워크로, 대용량의 데이터를 저장하고 분석하여 좀 더 의미 있는 데이터를 산출하기 위한 포괄적인 기술들을 경제적으로 구현하기 위한 노력의 결정체입니다.
덕분에 이미 많은 기업이 하둡을 이용한 빅데이터 분석을 수행하고 있으며, 대부분은 아직 온프레미스 환경에 구축되어 있지만, 여러 공개형 클라우드 서비스들이 확장 가능한 하둡 서비스를 출시하면서 클라우드로의 이전도 활발히 진행되고 있습니다.
이 책은 온프레미스 환경부터 공개형 및 비공개 클라우드 환경에 이르기까지, 다양한 환경에서 기업을 위한 하둡 클러스터를 성공적으로 배포하고 운영하는 데 필요한 기술적 노하우를 아낌없이 전수해 줍니다.
저 또한 하둡 클러스터를 직접적으로 구축하고 운영해 본 경험이 아주 많지는 않지만, 그간 크고 작게나마 대용량의 데이터를 다양한 방법으로 처리해 본 경험 덕분에, 이 책을 통해 하둡을 좀 더 자세히 이해하게 되었으며, 빅데이터에 대해 만족할 만한 통찰을 얻을 수 있었습니다.
다만 이 책은 빅데이터에 처음 입문하는 초보자에게는 다소 어려울 수 있지만, 소규모라도 하둡 클러스터를 온프레미스 환경이나 클라우드 환경에서 구축하고 운영해 본 경험이 있는 독자들에게는 큰 도움이 될 수 있는 책입니다.
- 장현희

이젠 빅데이터를 활용하지 않는 분야가 없는 시대를 살고 있다고 해도 과언이 아닐 것 같습니다. 여러 분야에서 인간을 넘어서며 새로운 시대를 열 것으로 기대되는 인공 지능도 막대한 데이터가 없으면 학습을 할 수가 없습니다.
이 책은 빅데이터를 다루는 데 필요한 기본 개념부터, 실무에서 사용되는 다양한 컴포넌트의 장단점 비교, 여러 컴포넌트를 조합해서 구성하는 운영 환경 구축, 조직 구성까지 아우르는 방대한 내용을 다채로운 그림과 비교 표를 통해 압축해서 이해할 수 있게 도와줍니다. 그래서 이미 데이터 엔지니어링을 하고 있는 사람들에게는 이 책이 더 심도 있고 실무적인 지식의 보고가 될 수 있고, 데이터 엔지니어가 되고 싶어 하는 분들에게 이 책은 안정적인 출발선이 되어줄 것입니다.
모쪼록 이 책을 통해 많은 분이 한 단계 더 높이 올라설 수 있기를 바라며, 궁극적으로는 우리나라 개발자, 데이터 엔지니어들이 데이터가 원유가 되는 시대를 이끌어나가는 데 조금이라도 도움이 될 수 있다면 더 바랄 것이 없겠습니다.
- 오명운