어쩌다 데이터 분석 with 파이썬

pandas, numpy, matplot, 그리고 머신러닝

＜이번 학기에＞

이번학기에 복학을 했고요

지난 학기에 성적이 안 좋았던 머신러닝 강의를 재수강하였답니다!!

그런데 수업으로는 놓치는 부분도 있고 잘 이해가 안 되는데 교수님께 여쭤보기 애매할 때가 있는데요!

그럴 때 보조 교재가 있었으면 좋겠다라는 생각이 들었답니다!!

기존 수강 과목에서는 ppt를 제공해주셔서 책이 없거든요!!

그런데 마침 ＜어쩌다 데이터분석 with 파이썬＞ 책을 받게 되었는데,

이 책이 제가 듣는 강의의 내용이랑 90% 흡사해요!!

그래서 좋은 보조교재로 책을 잘 읽고 있었답니다ㅎㅎ

데이터분석, 머신러닝

출처 입력

요즘은 인공지능, 머신러닝 정말 핫한 거 같아요

여기에 chatgpt까지 나와서 AI 분야가 정말 불타는 고구마급인데요!!

사실 데이터분석에 관심을 가지게 된 건 사이버대학 재학시절에 수강했던

＜데이터베이스＞ 과목 덕분이었어요!

개념적 스키마?그 구조부터 세워서 sql을 이용해서 그걸 데이터베이스화하는 내용의 수업을 들었는데요!

그 수업에서 과제를 해결할 때 그렇게 재밌더라고요

제가 구조화하고자 한대로 구조를 만들고 그게 실현되는 느낌이 너무 좋아서

뭔가 연관될 거 같은 머신러닝 수업을 들었는데 생각이랑은 조금 다르더라고요!!

혹시 저처럼 이런 경험을 하실 분들도 있으실 거라고 생각하고요

일단 데이터분석과 sql을 이용해서 데이터베이스를 만드는 건 조금 달라요

분석은 이미 있는 데이터를 분석하는 거고 데이터베이스는 데이터를 어떻게 베이스적으로 구성할 것인지에 대한 것이니까요!!

물론 배워보니까 둘 다 재밌어요!!

딱딱 맞아가는 느낌이 좋더라고요?

데이터분석 과정

어떤 데이터분석 툴을 쓰냐에 따라서 중간에 알아야하는 지식의 정도는 차이가 있겠지만,

흐름은 보통 이렇게 가더라고요!!

＜- 데이터분석으로 써본 플랫폼 브라이틱스, 아니면 파이썬

이 책에서는 이 과정 중에서 필요한 파이썬 라이브러리를 소개해주는 책인데요!!

＜목차＞

간단하게 보면

1 데이터 분석 준비

2 데이터 분석 기본

3 데이터 정제와 응용

4 데이터 병합과 재생성

5 데이터 집계와 그룹연산

6 날짜시간 데이터처리

7 데이터 시각화

8 데이터 분석 : EDA 실습

으로 구성됩니다!!

언어는 파이썬,

주피터노트북을 사용합니다!

간단히 말하자면,

출처 입력

파이썬이라는 언어를 통해서 데이터 분석에 활용한다는 뜻이잖아요!

데이터분석에 관심 있으시거나 파이썬으로 할 수 있는 또 다른 활동을 찾으신다면 이 책을 보시고

데이터분석에 도전해보시는 건 어떨까요?

책에 ＜추천의 말＞을 보면 요즘은 자기 분야의 데이터는 스스로 분석하는 경우도 많다고합니다!!

여러모로 알아두면 좋을 데이터 분석 알아가셨으면 좋겠습니다!

++ 데이터분석을 더 알고 싶다면?

출처 입력

추천하는 국외, 국내 사이트 하나씩 집어드릴게요!

이미 알고 계실 수도 있는 유명한 사이트죠! 

캐글과 데이콘입니다!

처음 프로그래밍 언어를 배우고 연습할 때 백준이라는 사이트 많이 들어가잖아요!

그런것처럼 데이터분석, 인공지능에 관심 있으시다면 캐글, 데이콘 강추드립니다!!

"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

이 책은 저자가 말한 바와 같이 데이터 분석을 막 시작하려는 독자를 대상으로 한다. 파이썬의 많은 책들 중에서 엑셀 형식으로 파이썬 데이터를 사용하는 것은 엑셀에 적응한 방식을 그대로 차용해 파이썬을 배울 수 있어 더 용이한 학습이 가능하다. 

데이터 분석은 빠른 수 적 계산 외에도 인터넷에서 무궁한 정보를 쉽게 찾는 것에 더해 데이터를 처리 하고 정리할 수 있기 때문에 많은 기업들이 선호한다. 

작가는 이런 데이터 분석을 처음 접하는 독자들을 위해 무료로 사용이 가능한 아나콘다 배포판의 설치를 설명한다. 파이썬은 3.8버전 이상을 사용하고 있으며, 모든 코드의 실행은 주피터 노트북이라는 어플리케이션을 활용한다. 

파이썬이 활용되는 범위는 다양하지만, 특히 비슷한 데이터 처리나 계산을 반복하는 작업의 활용이 많다. 파이썬의 함수를 따라 실행해 보면, 엑셀의 방식과 차이점을 비교하게 되는데, 엑셀에서 실행되는 함수의 방식이 함수를 선택하고 인수를 입력하는 방식이라면, 파이썬은 코드를 실행하는 실행문의 기본 구조를 알아야 하는 방식이다.

 이 책은 파이썬의 라이브러리를 활용한 데이터 분석을 설명하지만, 파이썬의 기본 데이터 구조나 문법 등을 알지 못하면 중간에 막히는 부분들이 생긴다. 라이브러리는 처음 파이썬을 실행하고 조건을 확인하는데 참고하기 좋은 오픈 소스이니 넘파이 라이브러리와 판다스, 그리고 맥플롯립 라이브러리 등의 샘플을 확인하는 것도 좋은 공부가 될 것 같다.

책의 중간 부분에서는 데이터 정제와 응용에서 조건부 필터링, 결측값(실제 데이터에 값이 없는 부분) 을 시각화 하거나 대체하는 방법 등의 활용예제와 데이터 시각화를 위한 그래프 추출 등의 예제들이 있다.

엑셀에도 함수의 입력 방식의 순서가 있듯이 파이썬도 입력 방식의 순서가 있는데, 책에서는 추출된 부분을 눈에 띄게 표시해 학습을 하는데 용이하게 구성하고 있다. 이 부분은 이 책의 큰 장점이다. 책의 서두에는 작가의 블로그와 그 밖의 피드백을 받을 수 있는 이메일과 실습 예제가 있다. 처음 데이터 분석을 공부하려고 준비 중이라면 데이터 분석을 전공하지 않고도 충분히 데이터 관련 일을 하고 있는 저자의 이 책이 데이터 분석을 이해하는데 조금은 도움이 될 지 모르겠다. 

STEP1 데이터 분석 준비 & 기본

- 개발 환경 구축하기

- 파이썬 기본 내용

- 파이썬 핵심 라이브러리 소개 및 기능 설명

STEP2 데이터 정제와 응용

- 데이터 필터링/정렬 테크닉

- 결측값/이상값 확인 및 처리

STEP3 데이터 병합/그룹 연산

- 데이터 병합

- 테이블 형식 데이터 재배치/피벗

- groupby를 활용한 그룹별 요약 및 집계

- 피벗 테이블과 크로스탭 활용

STEP4 시계열 데이터 처리

- 날짜시간 데이터 타입

- 날짜시간 데이터 인덱스

STEP5 데이터 시각화

- 맷플롯립 기본 핵심

- 많이 활용되는 시본의 주요 그래프

STEP6 실전 연습

- EDA 실습: 넷플릭스 데이터셋

- 데이터 전처리 기법 적용 및 데이터 시각화 작업

통계 프로그램인 SPSS나 R 그리고 Matlab을 쓰다가 요즘에는 파이썬이 각광받아서 늦게나마 입문하기 위해 이 책을 펼쳤다. 저작자는 디자이너이자 UX/UI기획자로서 비전공자 비개발자인 나도 이해하기 쉽도록 깔끔한 디자인에 담백한 설명을 따라가게 한다.

다만, 데이터 분석의 완전 초심자가 읽기에는 개념적인 측면에서 더욱 친절할 수 있는 면도 있는데, 지면 할당이 그러니 미리 도입은 유투브 강의 같은 것을 추천하고, 이 책은 초중급자들을 위한 것이라 할 수 있다.

핵심 라이브러리는 넘파이, 판다스, 맷플롭립, 시본 패키지(또는 모듈)을 소개하고 있고, 후반부에 데이터 시각화 까지 다루는데 맷플롭립과 시본을 이용하여 설명한다.

아나콘다 주피터 노트북을 쓰기 힘든 사람은 구글 코랩을 추천해준다.

https://colab.research.google.com/

예제소스는 여기에 있다.

https://github.com/claryk0520/bumping-into-data-analysis

파이썬 목록들은 이곳을 참조하면 좋을 것이다.

https://docs.python.org/3/

라이브러리와 데이터셋 링크를 알려주지만 알파벳URL이어서, 요즘 트렌드에 맞게 QR코드도 삽입하여 용이하게 접속할 수 있다면 어떨까 하는 생각이 들었다.

또한, 실습내용에 대해 중구난방으로 예제를 뽑기 보다는 스토리텔링처럼 구성해서 긴밀하게 연결되어 잘 이용하는 순서에 따라서 배열한다면 기억(인풋)하거나 인출(아웃풋) 하기에도 쉽게 적용할 수 있을 것 같다.

입문자들은 옆에 놓고 한권 완독하면서 실습파일에 따라 공부하며, 필요할 때 발췌독을 하면서 그룹연산이나 시각화를 할 때 찾아보면 유용하게 쓰일 실용서이다.

'YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다.'