|
요즘 데이타를 이용해, 각종 분석을 하는것은 데이타 과학이다. 이 책은 데이타 공학과 데이타 과학이 상호 보완적이지만 분명히 다른 영역이고 2가지 데이타를 다루는 분야중에 데이타 공학에 대해서 설명하는 책이다. 책 뒷편에 난이도는 매우 초~중급 사이로 표기되어 있다. 즉 부담없이 접근해도 좋은책이다. 아래 책에서 언급된 오픈소스의 종류인데, 다양한 사항이 언급되고 설명된다. 그 중에 수집 및 가공의 역활에 대해서 다양한 오픈소스를 기반으로 설명을 한다. 책에서 언급되는 오픈소스의 종류는 다양하다.
크게 책의 방향은 추출 / 변환 / 적재의 단계별로 Nifi, Airflow, Elastic일때 어떻게 시스템 구축을 하고 접근하는지 오픈소스별 설명을 하고 있다. 큰 흐름으로써 여러가지 오픈소스를 경험해보고, Trend를 알게 되고 실제 현업에서 어떤 방식으로 구성하는것이 가장 현업에서 적합한지 좋은 사례를 제공한다. 작년에 “데이타야 놀자” 컨퍼런서에서 Airflow에 대해서 설명하는 세션이 있었는데, 이번에 좀더 책을 보니 그때와는 다른 이해가 된 부분이 있었다 책에 처음 예제는 한회사의 다양한 지역별로 있는 쇼핑몰에 대한 통계를 추출하려고 하는 시작점이 책에 몰입을 하게 만들었다. 쉽게 공감대를 얻을수 있는 예제이다. 기존에도 ETL / 데이터 웨어하우스를 추축하고 다양한 방법으로 데이타 마트를 추축하는데, Nifi, Airflow을 통해서 원하는 목적을 달성하는 정보도 습득할수 있다. 데이타의 파이프라인의 개념을 이해하기에 좋다. airflow에서는 파이션 코드를 그대로 사용할수 있어서, pandas를 쉽게 이용 가능하다. |
|
꼭 IT분야에 국한된 것만은 아니긴 하지만 어찌됐던 최근 최소 5~6년의 시간의 흐름에 있어 가장 핫한 키워드는 빅데이터나 머신러닝/딥러닝으로 대표되는 인공지능이 아닐까 싶다. 이와 관련해서 데이터 분석, 시각화 분석, 데이터 공학, 데이터 과학 등등이 부수적으로 따라붙는 키워드들일 것이다. 뭐 인공지능쪽도 강화학습이니 등등 여러갈래의 세분화 되어 전계되지만...
여하튼 이것들의 공통점 또는 베이스가 되는 것은 데이터가 아닐까 싶다, 대규모의 데이터를 동반하는 무언가... 예를들면 데이터 자체를 수집, 추출, 변환 등을 처리하는 공학적인 측면의 접근과 이렇게 이렇게 모여진 데이터를 기반으로 데이터의 특성과 분석과 이를 활용하는데 집중하는 과학적 접근...
생각해보면 데이터를 통계적인 분석 모델과 기법이나 머신러닝과 딥러닝으로 대표되는 학습에 기반한 모델이나 방법에 대해 접근해볼 수 있는 책이나 자료는 굉장히 많이 있다. 하지만 의외로 데이터 공학적 측면에서의 내용을 체계적으로 다루는 책은 그리 많지 않은것 같다.
데이터 공학은 아주 쉽게 생각해보면 전통적인 IT분야에서 응용프로그램이나 시스템간 데이터를 인터페이스 하는 기술들에 뿌리하고 있다고 하면 쉽지 않을까 싶다. 결국 데이터 공학이라는 것이 데이터를 수집, 추출, 변환, 적재 하는 데이터 파이프라인 구축에 관한 부분이 가장 핵심이고 이는 전통적인 ETL이나 ELT(요즘 추세)나 EAI와 같은 것과 기술적인 부분에서 맞닿아 있다 볼 수 있기 때문이다. 바꿔말하면 인프라적 성격이 강한 업무영역이라 할 수 있다.
전통적인 접근을 잘 소개해 놓은 책도 별도 없지만 최신 흐름이 반영된 데이터 파이프라인 구축에 대한 체계적인 접근을 하는 책도 거의 본적이 없는 것 같다.
이번에 제이펍에서 출간된 '실무 예제로 배우는 데이터 공학'이란 책은 바로 이 부분에 특화되어 있는 최신 기술 흐름을 기반으로 기술되어 있다.  
데이터 파이프라인 예전에는 직접 구현하거나 ETL이나 EAI 솔루션을 이용하여 구축을 주로 했는데 요즘은 데이터도 정형 데이터 뿐만 아니라 비정형 데이터까지 분석에 활용하다보니 단일 솔루션이나 기술로 통합하지 않고 다양한 기법과 다양한 솔루션 특히나 오픈소스를 활용하는 추세이다.
이 책은 이러한 시대적 흐름에 꼭 필요한 도구를 소개하고 실제 프로젝트 처럼 데이터를 생성하고 관리하는 공학적 기법에 대해 다루고 있다.
책의 구성은 3개의 파트로 데이터 파이프라인을 구축하는 방법. 이를 실무에 적용하는 부분, 그리고 실시간 파이프라인 구축에 필요한 내용까지 단순히 도구를 사용해보는 것을 넘어서 데이터 엔지니어링 전반에 대한 이해와 통찰을 얻을 수 있는 책이라 생각한다.   
데이터 공학에 대한 기본적인 통찰을 얻기 위한 입무서로는 꽤 괜찮은 책이다. 특히 각 파트 마지막장의 실무적 접근은 기본적 통찰에서 실무에 가까운 방안에 대한 이해를 돕는데 효과적이다.
아쉬운점도 있다. 파이썬을 활용하는 방안은 많이 부족하다. 그리고 NiFi와 같은 오픈소스 도구에 대한 내용들이 상당하고 다루는 것들도 다음과 같이 제법된다. 입문서다 보니 아무래도 초보자들에 대한 이해를 돕기위한 방안으로 몇몇 도구 중심으로 전개되는 것은 어쩔수 없을꺼라 생각이 들기도 한다. 
총평을 하자면 그럼에도 불구하고 데이터 공학에 대한 기본적인 통찰을 얻기에 꽤 잘 정리해놓은 책이 아닌가 싶다.
※ 필자는 IT현업 엔지니어로, 제이펍 출판사 도서 리뷰어로 선정되어 제공받은 책을 읽고 작성한 리뷰입니다.
|