머신러닝, 딥러닝 이론을 공부하고 실전 연습을 해보고 싶다면 추천하는 책!

캐글을 시작하고 싶은데 어떻게 해야할지 막막할 때 마치 설명서의 역할을 하듯 쉽게 풀어쓴 책입니다.

유명한 '타이타닉 생존자 예측'과 '주택가격 예측' 예제가 있는데 초보자들도 이해하기 쉽게 코드마다 설명이 잘 되어 있어 따라하기 쉽고 분석능력도 높이기 좋을 것 같습니다.

가장 인상깊었던 부분은 캐글 마스터와 그랜드 마스터의 인터뷰가 있었는데 이 값진 경험담이 다른 책들과의 차별점이라고 생각합니다.

저처럼 데이터 분석 초보자, 캐글에 처음 도전하고 싶은 분들에게 추천하고 싶은 책입니다.

목차

0장 캐글에서 실용적인 기술을 체험해 보자!

0.1 캐글 세계로 뛰어들어 보자!

1장 캐글이란

1.1 전 세계 데이터 과학자가 경쟁하는 플랫폼

1.2 캐글의 메달과 등급

1.3 캐글 경진대회 참여 흐름

1.4 경진대회 종류

1.5 캐글 커뮤니티

2장 데이터 분석 절차, 데이터 분석 환경 구축

2.1 데이터 분석의 순서 및 개요

2.2 데이터 분석 환경

2.3 주피터 노트북을 이용한 대화형 데이터 분석 환경

2.4 아나콘다의 가상 환경 이용(윈도)

2.5 pyenv 환경 이용(맥)

2.6 캐글 분석 도구 사용

3장 캐글 경진대회 도전 ①: 타이타닉 생존자 예측

3.1 캐글을 이용하여 실제 데이터 분석

3.2 타이타닉 생존자 예측 경진대회란

3.3 데이터 내려받기

3.4 데이터 분석을 위한 준비 작업

3.5 데이터 개요 파악

3.6 데이터의 시각화

3.7 데이터 전처리와 특징 값 생성

3.8 머신 러닝 모델링

3.9 캐글에 결과 제출

3.10 정확도 이외의 여러 가지 분석

4장 캐글 경진대회 도전 ②: 주택 가격 예측

4.1 더 상세하게 알아보는 데이터 분석

4.2 주택 가격 예측하기 경진대회란

4.3 데이터 내려받기

4.4 벤치마크용 베이스라인 작성

4.5 목적 변수의 전처리: 목적 변수의 분포 확인

4.6 설명 변수의 전처리: 결측치 확인

4.7 이상치 제외

4.8 설명 변수 확인: 특징 값 생성

4.9 하이퍼파라미터 최적화

4.10 여러 가지 머신 러닝 방법을 이용한 앙상블

4.11 추가 분석 ①: 통계 기법을 이용한 클러스터 분석

4.12 추가 분석 ②: 고급 주택의 조건을 분석하고 시각화

5장 새로운 데이터 과학 능력 향상을 위한 팁

5.1 캐글 마스터와 특별 인터뷰

5.2 캐글에서 권장하는 스타터 노트북

5.3 GCP의 AI 플랫폼 분석 절차

부록 A 캐글 마스터가 되다: 전업 캐글러로서 삶과 지진 예측 3위 솔루션

A.1 자기 소개

A.2 전업 캐글러로서 1년 반

A.3 LANL 지진 예측 3위 솔루션

부록 B 국내 캐글 그랜드마스터 인터뷰: 이유한

B.1 인터뷰 소개

B.2 인터뷰 내용

대상 독자

- 데이터 분석을 시작하려는 사람

- 캐글(Kaggle)에 관심 있는 데이터 분석 초보자

- 데이터 과학자를 목표로 하는 학생

- 데이터 분석에 관심은 있지만, 그다지 경험이나 지식이 없는 데이터 분석 초심자

주요 특징

캐글의 초보자 튜토리얼 주제 2개를 다루며, 사전 준비 과정부터 정확도를 높이는 프로세스까지

코드와 함꼐 알기 쉽게 설명

- 주제1. 타이타닉 생존자 예측

- 주제2. 주택 가격 예측

캐글 대회 관련하여 초보자가 알아두어야 할 정보를 잘 수록해 놓았다.

특히 대회 종류나 등급, 캐글 커뮤니티(캐글 코리아)등 초보자들이 놓치기 쉬운 정보를 넣었다고 생각한다.

데이터 관련 정보는 표를 사용하여 관계를 잘 나타내었고, 위와 같이 무엇이 원인이고 결과인

지도 기호를 사용하여 쉽게 알수 있도록 구성하였다.

2장에서는 로컬 환경과 캐글에서 제공하는 클라우드 환경, 5장에서는 GCP의 AI 플랫폼 같은 유로 클라우드 환경을 다루어, 독자의 환경에 따라 다양한 플랫폼을 통해 데이터 분석을 진행 할 수 있도록 알기 쉽게 구성되었다.

3장 부터 본격적으로 캐글대회에 참여하는데, 위와 같이 모든 과정의 순서가 알기 쉽게 적혀

있어, 초보자도 따라 하기 쉽다는 느낌이 들었다.

특이하게 위 책은 Input 과 Output을 이런식으로 표현하였다.

주요 용어의 경우, 위와 같이 자세히 설명하는 모습 또한 위 책의 특징이라 생각한다.

오류 상황 대처법같이 초보자에게 필요한 정보를 따로 'Note' 란 코너로 정리한 모습이다.

그 뒤로는 캐글 마스터와 그랜드 마스터 인터뷰를 수록해 놓았다.

위 책을 보며 아쉬웠던 점으로는 캐글과 GCP에 대한 설명은 있는데 정작 Colab에 대한

설명은 없다는 점이었다.

아무래도 보통 초보자나 학생의 경우 사용금액이나 편의성으로 인해 Colab을 사용 할 가능성이 높은데, 이 부분이 없다는게 아쉬웠고, 인터뷰에서도 마스터나 그랜드 마스터 같이 초보자와 매우 큰 차이가 있는 분들과의 인터뷰를 수록 하다보니, 아쉬운 부분이 있었다

(차라리 더 낮은 등급을 가졌더라도, 은메달 딴 경험이 있는 학생이 대학을 병행하면서 대회 참여한 경험이나 혹은 개인적으로 여러 커뮤니티에 활발히 참여하시는 '안수빈'님이나 '김찬란'님의 인터뷰를 수록해 놓았으면 더 좋지 않았을까? 라는 생각이 들었다.)

그래도 캐글에 대한 양질의 정보를 수록해 놓았고 2 종류의 대회를 처음부터 끝까지 수록해 놓았다는 점에서 캐글에 입문 하시는 분들께 위 책을 추천 드리고 싶다.

캐글은 한번도 해보지 않았지만 관련된 업무를 하고 있습니다.
전부터 주변 동료분들 중 캐글을 사용하는 사람들을 꽤나 볼 수 있었지만 시간을 들여 시작해보기가 쉽지 않았습니다.
아마 이 책을 둘러보고 있는 분들도 캐글을 시작하는 분들이 아닐까 싶네요.
캐글에 관련된 서적은 처음이라는 점에서 다른 캐글 책들과 객관적인 비교는 불가능하지만 처음 캐글을 시작하는 사람으로써 후기를 공유해보겠습니다.

 책의 첫 시작은 캐글에 대한 목표, 캐글 대회의 설명 이후에 이 문제들을 같이 풀어나가면서 어떤 순서로 문제를 접근해야하는지, 문제를 해결하기 위한 대표적인 기술들(분석 기술 뿐만 아니라 코드면에서도 자주 쓰는 문법들)을 배울 수 있습니다. 그래서 만약, 데이터 분석 및 모델을 만들어 보는게 익숙하지 않으신 분이더라도 -아니면 데이터 분석을 위한 기술이 부족한 분이더라도- 이 책을 통해서 쉽게 시작할 수 있을 것 같습니다. 필요한 코드도 같이 나와있어서 책을 차례로 따라가면 되거든요. (책의 흐름은 문제 제기, 데이터 및 해결 방법 설명과 실제로 구현을 어떻게 하는지 순차적으로 진행) 추가로 의문이 생기는 부분에 대해서는 충분히 검색으로 커버 가능하다고 생각합니다. 하지만 설명이 충분히 되어있어서 개인적으로 왜 이런 방법을 썼는지 더 궁금한 경우에만 찾아보면 될 것 같습니다.

 캐글의 Competition에 캐글 시작의 바이블이라고도 불리는 연습문제가 존재하는데, 그 중  '타이타닉 생존자 예측 문제', '주택 가격 예측' 문제로 시작을 하는 것도 무척 좋은 방법이라고 생각합니다. 몰론, 다른 Competition들은 더 어렵고, 복잡한 문제들이 있지만 대표 문제부터 스스로 캐글 문제를 해결하는 방법을 터득시켜주기 위해 많은 노력을 한 책 같습니다. 
 책의 초중반부로 기초를 다지고, 이후 더 깊게 해보고 싶은 분이라면 책의 뒷부분에 포함된 캐글 마스터, 그랜드 마스터들과의 인터뷰가 많은 도움이 될 것 같습니다. 잘하는 사람들이 어떻게 문제를 해결해나갔는지 참고를 하는것은 중요한 부분이기 때문에, 이 외에도 초반에 잠깐 소개했듯이 캐글 커뮤니티도 좋은 방법 같습니다.

  정리하자면, 처음으로 캐글을 시작하는 분에게 좋은 책이라고 생각이 듭니다. 책을 차근차근 따라가다 보면 어느새 캐글에 친숙해지고, 더 높은 기술을 쌓을 준비가 되어있으실 겁니다. 인터뷰 내용은 현실적이기도 했고 팁도 포함되어 있어서 재미도 있었습니다. :)
 꼭 캐글이 아니더라도 데이터 접근방법 및 분석방법-시각화 포함-으로부터 많은 기본 기술들을 얻어가는 느낌이라, 데이터를 보면서 문제를 해결해야 하는 업무를 하신다면 읽어보시는 것을 권하고 싶네요.

*길벗 출판사로부터 지원받아 읽어본 후 작성한 리뷰입니다.

캐글 마스터가 집필한 캐글과 데이터분석을 처음으로 도전하는 초보자에게 도움되는 책이다.

책의 눈에 띄는 장점은 두가지를 들 수 있다.

먼저 초보자가 캐글 플랫폼을 빠르게 활용할 수 있도록 그대로 따라하기만 하면 될 정도로 버튼 하나까지 놓치지 않고 상세히 안내되고 있다는 점이 장점이다.

생각 외로 캐글 플랫폼을 처음 접하면 알아둬야 할 것이 많아 데이터 분석이라는 본 게임을 시작하기도 전에 입구에서 헤매이기 쉬운데 이 책이 최소한의 지식으로 진입장벽을 뛰어넘을 수 있도록 이정표를 제시해 줄 것이다.

초보자에게는 어려운 그레이디언트 부스팅 같은 모델도 직관적으로 잘 이해할 수 있도록 시각 도구를 적절히 잘 활용하고 있으며 필요 이상으로 상세한 설명을 한다는 느낌을 받을 정도로 논리적 비약 과정에서 이해하지 못하는 경우가 없도록 꼼꼼하게 저술했다는 생각이 든다.

또 하나는 캐글 실전 기초 예제 2가지를 매우 깊숙히 들여다 본다는 점이다. 일반적인 데이터 분석 도서의 초입에 자주 활용되는 캐글 예제인 타이타닉 생존자 예측(분류), 주택가격 예측(회귀)을 2가지를 중점적으로 다룬다.

이미 머신러닝 도서를 많이 접한 독자는 너무 쉬운 예제라 굳이 읽을 필요가 없다고 생각할지 모르지만 그렇지 않다. 생각보다 2가지 예제에 대해 깊숙히 다루고 있기 때문이다.

두 예제 모두 말미에 추가 분석이라는 코너가 등장한다. 보통 다른 도서에서 비슷한 수준의 예제를 최소한의 전처리만 거친 후 기본적인 분류, 회귀를 시도하는 반면 본 도서에서는 통계 기법으로 자주 활용되는 클러스터 분석, PCA 분석 등을 활용하거나 실전에서 비롯된 저자의 인사이트를 가미하여 추가적인 분석을 시도한다.

사실 누구에게나 공개된 확실한 법칙이나 모델들을 다루는 책들은 널려있지만 캐글 점수를 높이는 방법이나 몸값을 높여주는 자신만의 데이터 분석 필살 기법은 잘 공개를 하지 않는다. 자신의 몸값과 관련되어있거나 연구적 측면으로 항상 옳다고 검증받지 못했기 때문이다.

책에서 다루는 두 예제는 매우 기초적이고 쉬운 예제이지만 저자는 이 예제를 자신만의 통찰을 녹여 분석한다. 타이타닉의 경우도 사실 더 깊숙히 파고 들 가치가 있음에도 잘해야 교차검증이나 LightGBM 정도 적용해보고 더 이상의 고득점을 위한 시도는 하지 않고 다음 내용으로 넘어가는 편이다.

예를 들어 타이타닉에는 어떤 사람들이 타고 있었는지 티켓 등급별로 인원수나 남녀비율을 확인해보고 승선 항구별로 어떤 차이가 있는지 등 정확도 외의 심도 있는 추가 분석을 거친다. 이 과정에서 일반적으로 공개되지 않은 저자만의 노하우를 어깨너머 배우기 좋다.

또 Optuna와 같은 라이브러리를 이용하여 하이퍼파라미터 튜닝을 시도하는 등 하나의 예제를 할 수 있는 한 깊이 있게 분석한다.

머신러닝을 처음 학습하다보면 책에서 예제를 상당수 읽고 접했음에도 막상 새로운 문제가 주어지면 어디서부터 감을 잡아야 할지 막막한 경우가 많다.

예제 하나를 깊이있게 분석하고 확실히 내것으로 만들고 다른 이의 공개된 코드를 확실하게 분석하고 이해할 줄 알아야 새로운 문제에 적합할만한 능력을 갖출 수 있는데 본 도서의 그런 점이 매우 마음에 들었다.

또 다른 차별화된 부분은 부록이다. 부록에는 또 한명의 일본 캐글마스터의 인터뷰와 국내 캐글 코리아 커뮤니티 운영자이자 캐글 그랜드마스터로 유명한 이유한님의 인터뷰가 수록되어 있다.

일본 분의 경우 1년 반에 걸쳐 공무원을 때려치고 전업 캐글러로 살았던 기록을 남기고 있는데 아주 흥미롭게 읽었다. 아내 분이 꽤 자상하게도 허락해주신 덕분에 전업 종사를 할 수 있었던 것인데 24시간 동안 캐글만하고 싶다는 생각을 가진 이가 나만은 아닐 것이기에 그의 경험이 독자들의 앞날을 향한 결정과 미래 예측에 꽤 도움이 될 것이다.

특히 일본 캐글마스터 분이 LANL 지진 예측 대회에서 3위로 입상한 비법이 공개되어 많은 도움을 받았다. 유관분야의 논문을 찾아내고 그 논문과 캐글 실전 데이터를 맞춰나가는 노하우는 앞으로 큰 도움이 될 것 같다.

그 외 개발 환경을 구축히는 과정이 매우 상세하기에 데이터 분석이나 캐글에 관한 지식이 전무한 입문자도 쉽게 따라할 수 있을거라 생각하며 GCP와 같은 클라우드 환경에서 AI 애플리케이션을 구축하는 부분도 수록되어 있어 어떤 형태로든 무리없이 실습할 수 있도록 구성된 점이 장점이다.

결론적으로 캐글이나 데이터 분석 둘 중 어느 하나 이상 관심이 있는 독자가 처음 선택할만한 책으로 매우 좋은 선택지가 될 것 같다는 생각이 든다. 수박 겉핥기 수준이 아닌 쉬운 예제 2가지를 심도있게 분석하기에 앞으로 어떤 방향으로 추가 학습을 진행해야 할지 자연스럽게 힌트를 얻을 수 있을 것이다.

• 책소개 - 쉽게 시작하는 캐글 데이터 분석

인공지능,빅데이터, 데이터 분석에 관심있는 사람이라면 캐글(kaggle)을 한번쯤 들어봤을 거라고 생각한다. 캐글은 데이터 분석 경진 대회 플랫폼으로 여러 데이터셋과 다양한 모델을 활용하여 데이터를 분석해 그 정확도를 평가하는 여러 대회가 모여있는 곳이다. 전세계 모든사람들이 가는 곳인 만큼 나도 관심있어서 몇번 들락나락 거린 정도였지 실제론 어떻게 할 방법이 없어서 그냥 시도만 몇번해본게 전부였다.

이렇듯 인공지능이나 데이터분석에 관한 관심이 커지고 나처럼 몇 번 시도해보려는 사람이 많이 나와서 그런지 여러 출판사에서 캐글 관련 책이 등장하는 쪽이었다. 최근에는 한빛에서 데이터가 뛰어노는 AI 놀이터, 캐글이라는 책을 서평을 작성한 적이 있었고, 이번에 읽은 책도 캐글관련도서이기도 하다.

이 책은 캐글 대회 참여방법부터 캐글 대회를 직접 참여한 사람을 인터뷰해본 내용을 담는 등 캐글과 관련된 전반적인 정보를 담은 책이라고 볼 수 있다. 실제 코드와 관련된 리뷰도 있긴 하지만, 그에 대해 자세히 다루기 보다는 캐글 전반에 대한 프로세스에 이해에 가까운 책이라고 볼 수 있을 것이다.

초반에는 캐글이 어떤 곳이고 어떻게 도전할 수 있는지 그 방법을 자세히 소개하면서 캐글을 모르는 사람들에게 일종의 배경지식을 쌓는것을 보여주고 있었다. 그러면서 그 다음 목차로 환경세팅을 보여주고 있어, 실제 대회를 참가하기 전에 어떤식으로 준비하면 되는지를 친절하게 설명하고 있었다.

그 뒤로는 책의 대부분을 차지하는 타이타닉과 주택가격예측 코드리뷰가 등장하였다. 각 주제별로 EDA부터 간단한 모델링 까지 모든 과정을 통해 어떤 식으로 코드를 작성하는지를 코드별로 자세한 설명과 함께 소개하는 부분을 담고 있었다. 단순하게 분석하는 과정뿐 아니라 시각화 방법, 모델 선정, 원하는 데이터 추출 등 다양한 방법으로 접근을 시도하는 것을 가르쳐줘서 자기가 맞닥뜨린 데이터에 원하는 목표에 맞출 수 있는 그런 접근방법을 하나하나 보여주는 것 같아 개인적으로 괜찮다는 생각이 들었다.

전체적으로 캐글에 대한 이해와 도전하는 방법에는 간략하게 잘 설명이 된 책이라 생각이 든다. 물론 이 책에서 깊은 분석을 다루진 않고, 캐글에 대한 정보와 몇가지 예시를 통해 이해하는게 목적이긴 하지만, 그래도 전반적인 캐글에 대한 프로세스나 이해도 자체는 꽤나 괜찮다는 생각이 들기도 한다. 깊은 코드 분석보단 캐글에 대한 소개가 목적인 만큼 이에 대한 정보를 찾고 싶은 사람이라면 꽤나 괜찮은 책이라 생각된다.