★ 이 책에서 다루는 내용 ★

■ 데이터 웨어하우스, 빅데이터, 데이터 과학 소개
■ 다양한 기업의 데이터 레이크 구축 방법
■ 셀프 서비스 모델 구축 방법과 데이터 제공 모범 사례 탐색
■ 다양한 데이터 레이크 설계 방법 적용
■ 다양한 분야의 전문가의 데이터 레이크 구현 방법


★ 이 책의 대상 독자 ★

■ 데이터 서비스 및 관리 팀: 최고 데이터 책임자, 데이터 관리자
■ IT 경영진 및 아키텍트: 최고 기술 책임자, 빅데이터 아키텍트
■ 분석 팀: 데이터 과학자, 데이터 엔지니어, 데이터 분석가, 분석 담당자
■ 감사 팀: 최고 정보 보안 책임자, 데이터 보호 책임자, 정보보안 분석가, 규정 준수 담당자

이 책은 첨단 데이터 기술을 개발하면서 세계적인 기업들이 겪는 가장 어려운 데이터 문제를 해결하는 과정에서 얻은 30년간의 경험을 바탕으로 저술했다. 실무자와 업계 전문가들의 논문과 성공 사례로 알 수 있는 세계적인 기업들의 모범 사례를 바탕으로 성공적인 빅데이터 레이크를 설계하고 배포하는 포괄적인 지침을 제공한다. 이처럼 매력적인 신규 빅데이터 기술과 접근 방식이 기업에 어떤 효과를 제공하는지 궁금하다면 이 책이 좋은 출발점이 될 수 있다. 관리자라면 이 책을 한 번 전체적으로 읽고 나서 실무 중에 빅데이터 관련 의문이 생길 때마다 주기적으로 다시 살펴보는 것을 추천한다. 실무자에게는 빅데이터 레이크 프로젝트를 계획하거나 실행할 때 활용할 수 있는 지침이 된다.


★ 지은이의 말 ★

최근 많은 기업이 빅데이터와 클라우드 기술을 활용해 데이터 레이크를 구축하고 데이터 주도 문화 및 결정을 도입하는 실험을 하고 있다. 하지만 인터넷 기업에는 잘 맞던 접근 방식을 전통적인 기업에 적용하려면 각색이 필요한데, 어떻게 각색해야 하는지 실질적인 지침이 없다 보니 관련 프로젝트가 연기되거나 실패하는 경우가 많다. 그런 지침을 제공하고자 이 책을 저술하게 됐다.

IBM과 인포매티카(Informatica, 주요 데이터 공급사)의 경영층, 멘로벤처스(Menlo Ventures, 선도적인 VC 기업)의 거주 기업가, 워터라인의 창업자이자 CTO로 일하면서 수백 명의 전문가, 선구자, 업계 분석가, 실무 담당자와 성공적인 데이터 레이크 및 데이터 주도 문화를 구축하는 과정에서 겪은 어려움을 얘기해 볼 행운이 생겼다. 이 책은 다양한 업계와 역할을 통해 경험한 주제와 모범 사례를 묶어 놓았다. 독자 대상은 업계의 경우에는 소셜 미디어부터 금융, 정부 기관까지, 직무의 경우 최고 데이터 책임자와 같은 IT 경영층에서부터 데이터 아키텍트, 데이터 과학자, 비즈니스 분석가까지를 아우른다.

빅데이터, 데이터 과학, 분석 기반 데이터 주도 결정은 우리가 어떻게 일하는지부터 암 치료법을 찾기 위해 고객과 협업하는 과정에 이르기까지 지금까지와는 차원이 다른 인사이트와 효율성을 줄 것이라 약속한다. 그렇지만 데이터 과학과 분석은 과거 데이터가 있어야 가능한 일이다. 이 때문에 기업은 데이터 과학자와 분석가가 데이터 주도 결정 과정을 하는 데 필요한 정보를 찾을 수 있도록 자신들이 가진 모든 데이터를 한군데로 모을 수 있는 데이터 레이크를 구축하고 있다.

이 책은 데이터 레이크가 약속하는 것을 얻으려면 고려해야 하는 요소와 모범 사례를 보여준다. 데이터 레이크를 데이터 웅덩이(data puddles, 분석적인 샌드박스(sandboxes))나 데이터 연못(data ponds, 큰 데이터 웨어하우스)을 바탕으로 확장할 때 활용할 수 있는 여러 접근법뿐만 아니라 아예 바닥부터 구축하는 방법까지 다룬다.

사내(on premises), 클라우드 기반, 가상(virtual) 등 다양한 데이터 레이크 아키텍처(architectures)의 장단점을 살펴본다. 그리고 미가공(raw), 처리되지 않은 데이터에서부터 잘 관리되고 요약된 데이터까지 유형별로 저장하는 개별 영역을 설정하는 방법과 그런 영역의 접근 권한을 관리하는 방법을 다룬다. 사용자가 스스로 데이터를 찾고 이해하고 준비할 수 있도록 하는 셀프서비스(self-services)를 가능하게 하는 방법, 사용자의 기술 수준에 따라 적합한 인터페이스를 제공하는 방법, 이 모든 과정을 기업의 데이터 관리 정책을 준수하면서 진행하는 방법 등을 설명한다.


★ 옮긴이의 말 ★

최근에는 사람들에게 도움될 수 있는 성능이 우수하고 신뢰할 수 있는 머신러닝 모델을 만드는 데 관심들이 많습니다. 빅데이터를 활용해서 만드는 머신러닝 모델을 개발하고 모델의 신뢰성을 확보하려면 기반이 되는 데이터가 가장 중요할 수밖에 없습니다.

지금도 뉴스를 보면 자사의 빅데이터를 분석해 좋은 인공지능 모델을 만들고 그런 모델을 활용해서 혁신적인 성과를 거둔 기업의 사례가 보도되고 있습니다. 그런 뉴스를 볼 때마다 부럽다는 생각과 함께 우리도 언젠가는 저렇게 될 것이라는 확신이 듭니다. 기업이 겪고 있는 문제를 해결하는 데 필요한 데이터는 이미 기업 안에 존재한다고 믿습니다. 그것을 어떤 방식으로 저장하고 저장된 데이터를 어떻게 활용하면 좋을지 전략을 짜는 것이 중요합니다.

이 책에서는 기업의 직원들이 데이터 저장을 꺼리는 이유를 따져보고, 기업의 데이터를 효과적으로 저장하고 관리할 수 있는 방법을 알려줍니다. 관리 체계를 구축해 같은 데이터를 중복으로 구매하는 것을 방지하고, 저장한 데이터 중 민감한 데이터는 어떤 방식으로 처리하는 것이 좋을지도 소개합니다.

데이터 베이스 분야는 대부분의 용어가 영어입니다. 국내에서도 활발하게 사용되기 시작한 지 어느 정도 시간이 지났기 때문에 용어를 원문 그대로 사용하는 것이 편한 사람이 많습니다. 이 책을 옮기는 과정 중에도 원문의 의미를 해치지 않는 범위에서 업계에서 흔히 사용하는 용어를 사용하고자 노력했습니다.