|
데이터를 빠르고 효율적으로 분석하는 방법 이야기로 배우는 구글 빅쿼리
시대가 변화하면서 데이터베이스의 중요성이 강조되고 있다. 마케팅을 하면서 언어를 사용해서 데이터를 효율적으로 분석하는 이들이 늘고 있고, 그러한 인재들이 각광박는 세상이다. 데이터소스를 수집하고 분석하여 자신의 것으로 만들면 남들보다 앞서갈 수 있다.
이 책은 빅쿼리를 이용한 빅데이터 분석의 기초를 배울 수 있다.
후반부에는 분석플램폼을 개발하는데 필요한 요소를 익힐 수 있도록 실제 적용할 수 있는 구체적인 예와 함께 설명해준다.
지금 시대는 빅데이터를 다룰 수 있는 인재가 필요하다. 정보를 어떻게 효율적으로 다룰 수 있느냐는 남들보다 빠르게 갈 수 있는 지름길을 만드는 것과 같다고 생각한다.
구글 클라우드 플랫폼을 이용한 구글 빅쿼리를 활용해
데이터를 이해하고 분석하여 활용할 수 있도록 도와준다.
초보자들은 언어에 대한 막연한 거부감이 느끼는게 당연하다.
대학때 맛을 살짝 본 나도 언어만 보면 까막눈이 되어 앞이 깜깜해진다. 이 책은 만화책 보듯이 등장인물들이 대화하는 형식으로 문제를 해결해 나가는 과정을 그린다.
구글 클라우드는 3개월간 무료로 사용가능하다.
휴대폰인증을 해야 하고, 신용카드도 등록해야 한다. 무료체험판 종류 후 돈이 청구되지는 않지만 현업에 종사하지 않는 이들은 여기서 진입장벽을 느낄 수 있을거라 생각한다.
구글을 많이 사용하시는 분이라면 GCP는 플랫폼이 친숙하고 보기 편할 듯 하다.
등장인물의 대화로 친숙하게 책을 볼 수 있으며 그림으로 실제 화면과 비교해가면서 공부할 수 있다.
빅쿼리를 이용한 데이터 분석을 시작으로 빅큐리 튜닝, 데이터 수집 자동화, 스트리밍 처리에서의 데이터 수집 등을 공부한다.
데이터분석에서 빅쿼리는 매우 높은 가성비를 발휘하는데, 이는 비즈니스 현장에서 클라우드 제공자 설정에서 빅쿼리를 사용하는 첫번째 이유다 .
구글 클라우드 플랫폼 GCP는 현재 가장 성장하고 발전하고 있는 클라우드다
데이터 분석 플랫폼 구축 지식을 배운 후에는 실제로 GCP를 활용하여 압도적인 생산성, 비용대비성능, 구글 기술의 선진성을 체감할 수 있을것이라 저자는 말한다.
|
|
요 근자에 스토리 텔링방식의 IT서적을 자주 접하게 되는것 같다. 앞전의 친절한 딥러닝 수학도 그러하였고 이번에 읽어본 [이야기로 배우는 구글 빅쿼리]또한 주인공과 등장인물이 있는 점이 유사하였다. 하지만 이번 책은 각 Chapter 별 도입부의 주요내용을 설명하는 것 이외에 나머지 설명부분은 아래 사진들을 참고해서 보면 아시듯이 일반적인 IT서적과 다르지 않았다. 이 책에 관심있는 분들은 이 점을 참고하시기 바란다.
구글 빅쿼리는 구글의 클라우드 플랫폼(Google Cloud Platform)에서 방대한 데이터를 빠르고 효율적으로 분석하기 위하여 지원하는 데이터 분석 플랫폼이다. 당연히 구글 쿼리에서 실행한 쿼리는 구글이 보유한 방대한 인프라 리소스를 활용하여 병렬,분산처리된다.
다양한 클라이언트 라이브러리나 3rd Party제품을 지원하고 그 결과를 시각화 할 수도 있다. 2011년도에 프리뷰버전이 공개된 이후 대규모 분산쿼리를 서버없이 누구나 손쉽게 처리할 수 있게되었다. 또한 빅쿼리는 표준SQL을 지원하여 DB를 활용해본 사람이면 누구나 빅데이터 분석을 할 수 있다.
특히 이책에서는 빅쿼리를 이용한 데이터분석, 빅쿼리의 기본 구조와 특징, 다양한 데이터의 로딩/가공/시각화, 데이터 수집의 자동화, 스트리밍 데이터 분석까지를 다루고 있다. 또한 실제 업무를 바탕으로 요구사항을 사례로하여 문제를 해결하는 과정을 이야기방식으로 풀어나간다. 실질적으로 빅쿼리를 사용해 보지는 못하였으나 방대한 데이터를 삽시간에 분석결과를 도출해 낸다고 하니 꼭 한번 실무에 적용해 보고 싶다는 생각이 들었다. 다만 이책은 DB, SQL과 리눅스 환경의 기초지식을 가진분들이 읽어야 할 듯하다.
#이야기로배우는구글빅쿼리 #정인식 #한빛미디어 #책스타그램 #북스타그램 #서평 #독서 #독서스타그램 #책스타그램 #신간 #북리뷰 #책리뷰 #책리뷰 #추천 #책추천 |
|
https://hanbit.co.kr/media/books/book_view.html?p_code=B6735191805 구글 스프레드시트의 데이터 용량 제한 때문에 빅쿼리의 사용을 고려해봤지만 그 때마다 익숙하지 않은 UI와 개념때문에 포기하곤 했습니다. 그래서 얇은 두께로 빅쿼리를 소개하는 책을 만나게 되어 매우 반가웠습니다. 책은 빅쿼리의 기본적인 사용법과 지식을 소개하는 전반부와 실제 데이터 분석 플랫폼 개발 기업을 다루는 후반부로 구분됩니다. 샘플 코드들도 제공이 되며 비용에 대한 이야기를 놓치지 않고 비용-성능 튜닝에도 많은 비중을 할애하고 있습니다. Cloud Composer를 통한 워크플로 조정에 대한 내용도 포함하고 있습니다. 책의 분량이 많지 않기 때문에 기초적인 내용들은 모두 알고 있다고 가정하고 생략되는 경우가 많습니다. 이미 다른 데이터베이스를 능숙하게 사용하고 클라우드 DB의 지식을 충분히 갖추고 있는 사람들을 대상으로 하는 책이라고 생각됩니다. 이미 충분한 지식을 갖춘 사람이라면 짧은 시간 안에 GCP와 빅쿼리의 기능을 습득하기에 적합한 책으로 보입니다. "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다." |
|
데이터분석에 대한 수업을 하면서 항상 데이터에 대한 요구사항이 많이 있었습니다. 일본책이 원저인 책답게 가상인물이 있고 각 챕터에서 상황을 설명하는 방식으로 되어 있었습니다. 편하기도 하지만.. 심도있는 지식이라고 느끼기는 조금 어려운 면이 있지 않았을까 하는 생각입니다. 책을 통해 느낀 빅쿼리와 GCP를 이용한 데이버 수집/분석은 구글에서 만들어진 다양한 프로그램들을 통해 데이터를 분석할 수 있는 기회가 되어서 좋았습니다. 학교에서 Google Workspace를 쓰고 있는데 이것을 적절히 활용해서 수업을 구성할 수 있겠구나 하는 생각이 들었습니다. 또한 단순하게 빅쿼리만 다루지 않고, 데이터 처리를 위해 필요한 다른 여러가지 기능들도 소개 하고 데이터 처리에 대한 전반적인 프로세스를 간접경험해 볼 수 있어서 좋은것 같습니다. 전체적인 데이터 수집/처리/분석을 맛볼 수 있는 간단한 소개서 정도인것 같습니다. 또한 간단한 샘플코드들이 제공되어 쉽게 따라해 볼 수 있는 장점이 있는듯 합니다. 단지 클라우드에 대한 기본지식이 필수로 요구되고, 파이썬 및 데이터분석 기본지식을 갖춘 학생들에게 교육해야 하는 것 같아서 조금 부담되기는 합니다. "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다." |
|
회사에서 클라우드 업무를 수행하면서, 간단한 스몰 데이터분석을 하고 있는데 - 한줄요약클라우드를 통한 데이터 처리를 수집/처리/분석까지 일련의 과정을 간단하게 훑어볼 수 있는 책입니다. - 책의 내용/구성책에서는 특정상황을 가정하여 가상인물(등장인물)들이 나와 각 챕터의 시작 전에
책을 통해 느낀 빅쿼리와 GCP를 이용한 데이버 수집/분석은 구글 플랫폼의 생태계 환경에서 연계되어
이 책에서는 단순하게 빅쿼리만 다루지는 않습니다.
아쉬운 점은 빅쿼리를 이용한 빅데이터 분석이 구글이 제공하는
전체적인 데이터 수집/처리/분석을 맛볼 수 있는 간단한 소개서 정도로 생각됩니다.
- 책읽기 필요사항클라우드에 대한 기본지식이 필수
- 추천 독자클라우드를 이용하여 데이터 분석을 하고자 하는 초보분석자
"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다." |
국내에는 GCP( Google Cloud Platform )와 관련된 책이 워낙 귀하다 보니 이번에 한빛미디어에서 발간된 "이야기로 배우는 구글 빅쿼리"는 반가울 수밖에 없다. 게다가 빅쿼리에 포커싱 된 책이라니! 빅쿼리는 위키백과에 아래와 같이 정의되어 있다. 빅쿼리는 페타바이트급 이상의 데이터에 대해 스케일링 분석을 가능케 하는 완전 관리형 서버리스 컴퓨팅 데이터 웨어하우스이다. 빅쿼리는 2010년 5월 발표되었으며 2011년 11월 일반에 공개되었다
데이터 다루는 일을 업으로 하는 사람이 아니라면 어쩌면 생소할 수 있는 기술이지만 BigQuery는 빅데이터 플랫폼으로 AWS의 Redshift와 함께 양대산맥을 이루고 있다. 더욱이 Google Cloud 하면 빅쿼리가 연상될 정도의 GCP의 대표적인 서비스이고, 일각에서는 Redshift를 이미 압도하고 있다는 평이 내려진다. 자, 그럼 이 책을 읽기 위해 어떤 배경지식이 필요할까?
위에 두 가지는 대충이라고 적었지만 파이썬 문법은 이것들보다 조금 더 중요하다. 모든 예제가 파이썬으로 이루어졌기 때문인데... 개념만 익힐 목적이라면 훌훌 넘겨버려도 상관은 없다. 하지만 책은 빅쿼리 뿐만 아니라 데이터 웨어하우스를 구축하는 그 주변의 기술인 Airflow까지 설명하고 있는데 DAG( Directed Acyclic Graph )을 기술할 때 파이썬을 사용하고 있기 때문에 언어를 잘 알고 있다면 Airflow를 이해하는데 더 큰 도움이 될 것이다. ( 사실 배경지식이 없으면 어떠한가. 조금은 더 고될 뿐, 배움에서 즐거움을 찾고 재밌게 읽으면 된다 ) 책은 독특하게 구성되어 있다. 신입사원이 선배에게 GCP의 여러 서비스를 배워가며 데이터 웨어하우스를 구축하는 컨셉으로 구성되어 있다. 웨어하우스 구축 미션을 단계적으로 수행하는 과정을 서술하고 있다고 보면 된다. 여기서 함께 공부하는 느낌을 받을 수 있다 (웃음)
앞서 이야기한 것처럼 책은 단순히 빅쿼리만 다루는 책은 아니다. 데이터 웨어하우스라는 거대한 시스템을 구축하기 위한 여정이 기록되어 있는데 BigQuery에 데이터를 로딩하는 방법부터 시작된다. 그리고 본격적으로 빅쿼리의 기본 구조와 특징을 알아보게 되는데 여기서는 Dremel 쿼리 엔진이라고 불리는 아키텍처와 열 지향 스토리지에 대해서 배우게 된다. 열 지향 스토리지 이야기가 나오면 AWS Redshift가 왜 비교되었는지 이제 이해가 될 것이다. 빅쿼리는 Dremel 쿼리 엔진과 더불어서 Colossus File System에 의해 대규모 분산 처리로 쿼리를 실행한다. 용어들이 좀 어려울 수 있는데 Dremel 쿼리 엔진은 스캔 고속화를 목적으로 개발됐고 1 테라바이트 이상의 테이블을 1초 이내로 스캔하는 것을 목표로 한다. 벅차오르지 않나? 빅쿼리를 통해 구글의 강력한 인프라를 마음껏 활용해보자! 빅쿼리 아키텍처에 대한 설명 이후에는 사용되는 자료형과 파티션, 클러스터까지 다룬다. 그리고 클라우드의 fully-managed 서비스를 사용하는 사용자의 가장 큰 걱정거리인 비용과 제약 사항에 대해서도 다루기 때문에 조금은 더 안심하고 쿼리를 날릴 수 있는 지식을 쌓게 된다. 빅쿼리의 경우 탐색한 데이터의 용량에 따라 비용이 청구되기 때문에 자칫 쿼리 한번 잘못 날리면 눈 깜짝할 사이에 페타바이트를 스캔하고 비용이 청구되지 않겠는가. 성능이 너무 좋아도 초보 사용자에게는 문제다(웃음). 하지만 비용 제한과 쿼리 제약을 걸어놓는다면 이런 문제들을 어느 정도 해소할 수 있게 된다. 빅쿼리 튜닝과 보안, 사용자 권한인 IAM까지 다루고 나면 본격적으로 데이터 웨어하우스 구축에 나선다. 이 책에서는 ETL( Extract, Load, Transform )이 아닌 ELT로 아키텍처를 구성하는데, 차이라면 1차 가공을 할 때 사용하는 데이터가 어디 있는지 보면된다. 통상 ETL의 경우 GCS에 있는 데이터를 Dataflow( GCP의 fully-managed Apache Beam )를 이용해서 변환해서 빅쿼리에 로드하는 반면, ELT는 GCS의 데이터를 가공하지 않고 빅쿼리로 로드한다. 이후 SQL을 통해 변환작업을 수행하게 된다. 어떤 아키텍처를 구성할지는 크게 중요하지 않다. 아무튼, GCS에 있는 데이터를 자동으로 빅쿼리에 로드하기 위해 GCP의 Composer( fully-managed Apache Airflow )가 사용된다. Apache Airflow의 구조부터 Composer 아키텍처, 예제까지, 책 지면의 상당한 부분을 할애하고 있는데 그만큼 데이터 수집은 데이터 웨어하우스 구축의 핵심으로 볼 수 있다. 이 책 한권으로 데이터의 고수가 될 수는 없다. 하지만 columnar database의 아키텍처에 대해 고민해볼 수 있는 지식을 쌓고, 데이터 웨어하우스 구축을 위해 어떤 기술이 필요한지, 또한 퍼블릭 클라우드 시장에서 빠른 성장을 하고 있는 GCP의 여러 서비스를 맛볼 수 있다는 점에서 데이터를 다루는(다루게 될) 분들께 이 책의 일독을 권한다.
한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다. |
|
IT서비스를 이용하는 사람이라면 구글이 제공하는 서비스를 이용해 본 경험이 있을 것입니다. 특히 검색 엔진인 구글과 유튜브, 메일 서비스는 하루에도 몇번씩이나 이용하고 있어 이젠 우리 일상에서 빼놓을 수 없는 서비스이며 IT업계에서는 마이크로소프트의 Azure, 아마존의 AWS와 더불어 3대 클라우드라고 불리우며 필수적으로 많이 사용되고 있는 서비스입니다. 그래서 이시대에는 빅데이터를 많이 사용하며 개발자도 빅데이터를 다루는 개발자를 많이 뽑고 있어 빅데이터를 아는 것이 매우 중요하고 선호도가 높아 빅데이터 학습이 많아지고 있는 추세입니다. 제가 이 책을 선택한 이유는 페타바이트급 데이터세트 처리 리소스를 의식하지 않고 초고속으로 쿼리를 실행할 수 있는 완전 관리형 데이터 분석 플랫폼인 빅쿼리가 빅데이터 분석에 있어 기업의 다양한 요구사항을 충족하고 가상 시뮬레이션을 통해 해당 과제를 해결할 수 있다는 점을 알기 쉽게 독자들에게 설명하며 클라우드를 활용한 데이터 분석에 익숙하지 않은 사람에게도 좋은 안내서가 될 수 있을거라 생각하기 때문입니다. 이 책의 특성은 책 내용이 단순히 기술적 요소만 설명하는 흐름이 아니라 소설처럼 이야기가 진행되는것 같은 흐름으로 진행되어 기존의 책들보다 좀더 부드럽게 읽으실 수 있다는 점과 일종의 프로젝트처럼 전반부의 빅쿼리에 대한 지식 및 기본적인 사용법부터 시작해 후반부 실제 데이터 플랫폼 개발에 사용되는 기법에 마지막 보고서 작성까지 하는 탄탄한 내용 구성을 가지고 있다는 점입니다. 현대 시대는 이제 빅데이터 및 클라우드 서비스를 이용해 기업의 제품 정보 및 직원들 개인정보, 고객정보에 더불어 기업의 프로젝트 및 기밀 정보같은 중요정보까지 이러한 기본 TB단위의 막대한 정보들을 기업이 자체적으로 보유한 DB에 저장하여 관리하는 시대입니다. 이것은 IT업계만 해당되는 것이 아닙니다. 과일, 의류, 전자제품등 상품 판매업이 주사업인 기업들, 식자재 판매 기업, 음식을 개발 및 판매하는 기업등이 고객의 구매정보를 바탕으로 개별적 판매 추천 및 선호도 조사등 마케팅수단으로도 많이 사용하고 있습니다. 따라서 이제는 중기업 및 대기업들은 자체 클라우드를 소유하기 위해 빅데이터 및 클라우드 분야 투자에 많은 지원을 하고 있어 개발자라면 필수로 알아야 하며 개발자가 아니더라도 알아 두시면 많은 도움이 될것입니다. 구성 Chapter 1: 등장인물 소개와 프로젝트 개요 파트별로 나누어 봤을때 1~3장은 기본 데이터 분석 요구사항 및 빅쿼리에 대한 지식 및 기본적인 사용법에 대해 설명하고 있고 4~6장은 데이터 처리 및 가공, 스트리밍 상태에서의 데이터 처리 및 가공 그리고 빅쿼리 보안등에 대해 설명하고 있습니다. 개인적인 생각으로 학습은 빅데이터 및 클라우드서비스 개발자로 취업 및 이직을 희망하시는 분들이나 이제 막 개발자로 시작하시는 초보자이신 분들께서는 1장부터 시작하시면 좋을것 같고 어느정도 경험이 있으신 분들(개발자 경력 3~n년차 or n년차 서버관리자)부터는 1~3장은 쭉 한번 보시면서 구조 및 원리부분을 습득하시고 4장부터 시작을 하시는 것이 좋을것 같습니다. 그리고 초보자분들 중에 내용 이해가 어려워서 책을 읽는것이 지루하거나 힘드신 분들은 개발지식도서를 읽는다고 생각하지 마시고 한편의 소설을 읽는다고 생각하시면서 읽으시면 좀더 편하게 읽으실 수 있을거라 생각합니다. 그리고 개인적으로 약간의 단점이 어쩌면 욕심일수도 있는게 좀더 많은 실습 예제가 담겨있으면 더 좋았지 않았을까라는 아쉬움과 Chapter 5번이 이 책에서 중요한 내용이니 좀더 세세하게 단락이 나눠져 있었으면 더 좋았을 것 같다는 아쉬움이 있습니다. "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다." |
|
빅데이터의 시대, 클라우드로 VM서버로 구성하고, 데이터베이스도 AWS RDS처럼 클라우드에서 제공하는 DB를 사용하기도 합니다. 그런측면에서 구글 빅쿼리는 기존의 DB 솔루션에 초점이 맞추어져 있던 방식을 활용에 대한 방식 서비스에 맞추어서 이야기하는 것 같습니다. 구글의 빅쿼리로 원하는 데이터를 다양하게 핸드링할 수 있다는 것을 보여주는 것 같다. 한빛미디어 5월 나는 리뷰어이다. 책을 구글 빅쿼리로 선택한 이유는 바로 이야기가 있었기 때문이다. 바로 초짜도 이해하기 쉬운 구성이라는 것 입니다.
데이터를 빠르고 효율적으로 분석하는 방법
실제점포와 본사와의 데이터 구성
이야기로 풀어가는 책입니다. 업무를 어떻게 하나씩 적용해 나가는 방식으로 더 실제적으로 현업에 도움이 되는 구성입니다. 빅쿼리 솔루션 및 서비스보다는 어떤 데이터를 어떻게 활용하는지가 초점입니다. 그래서 여러모로 빅쿼리에 대하여 알아갈 수 있고, GCP또한 고려할 수있는 책이기도 합니다.
|
|
이 책은 구글 클라우드 플랫폼을 이용하여 업무에서 생성되는 정보를 효과적으로 처리할 수 있는 방법에 대해 시니어 엔지니어와 주니어 엔지니어간의 대화형식을 통하여 풀어가고 있는 책이다.
약 250쪽의 분량에 필요한 내용들만을 담기위해 노력한 책이기 때문에 기본적인 표준 SQL 사용법에 대해서는 넘어가고 있고 구글 빅쿼리 아키텍처에 대한 설명도 아주 간단하게 설명하고 넘어가고 있다. 따라서 이 책을 일기 전에 기본적인 표준 SQL에 대한 지식과 구글 클라우드에서 빅쿼리에 대한 기본적인 지식을 찾아본 뒤 일기를 권한다. 기본적인 내용은 구글에서 빅쿼리를 찾으면 주요특징, 사용사례 등이 기술되어 있다.
이 책은 기본적인 빅쿼리를 이용한 데이터 분석에서 부터데이터 데이터웨어 하우스를 구축하기 위해 어떻게 데이터를 자동으로 수집할 수 있는지, 또 그 데이터를 가공하기 위해 스키마, 클린징 방법 등에 대해서 실제 구글 클라우드 화면을 통해서 안내해 준다. 또한 간단하 파이썬 함수를 사용하여 좀 더 효율적인 방법에 대한 안내와 코드를 제공하고 있다. 따라서 좀 더 효과적으로 구글 빅쿼리를 사용하기 위해서는 파이썬에 대한 기본적인 지식도 필요하다.
결론적으로 이 책은 주니어 엔지니어 또는 개발자에서 좀 더 발전하고 싶은 독자를 위한 책이다. 기볹거인 지식이 없이 이 책을 본다면 너무 간단하다고 생각하거나 무슨 내용인지 모르겠다는 생각할 수 있다. 그러나 기본지식이 있는 주니어 엔지니어라면 핵심만 짚어 확인할 수 있는 책이라고 생각한다.
"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."
|