|
최근 어떤 직무든 데이터 분석이 중요해지고 있다. 그런데 그런 데이터를 분석직무에 기초가 되는게 나는 판다스를 비롯한 파이썬 라이브러리 혹은 BI툴 또는 SQL 아닐까 생각한다. 어쩌다 데이터 분석 with 파이썬은 그 중 파이썬을 활용해 데이터를 다루는 법을 알려주는 책이다.
어쩌다 데이터 분석 with 파이썬 책을 보셨으면 하는 분들은 초보 ~ 중수까지가 아닐까 싶다. 물론 파이썬에 대한 기본적인 이해가 있으면 좋겠지만 위 사진 처럼 기본적인 라이브러리 활용법부터 시작하니 일단 따라해보고 너무 겁먹지 말자 그래도 부족한 부분이 있다면 더 찾아보는게 좋을 것 같다. 하지만 이 책을 구매하신 대부분의 분들은 파이썬 문법의 기초가 탄탄 할 것같으니 이 파트는 가볍게 읽어보만 보고 다음 장으로 넘어가면 된다.
그리고 이 책의 가장 큰 강점은 저자가 비전공자인 만큼 비전공자 입장에서 데이터 업무를 시작하면서 겪게되는 당연하고 쉽지만 비전공자에게 의문이나 어려웠던 점에 대해서 '매우 매우' 많이 기록되어있다.
보통 데이터를 공유받거나 다운 받은 뒤 가장 먼저하는 데이터를 데이터를 확인하고 타입을 바꾸는 방법만 설명된 책들이 많은데 어쩌다 데이터 분석 with 파이썬은 왜 데이터타입을 바꿔야되는지도 설명해주고 있으며,
또한, 위 처럼 사진처럼 공공데이터 포털에서 다운 받거나 자료를 공유받게되는 경우 단순히 문자깨짐 현상은 업무를 하다보면 수도 없이 발생하는데 비전공자나 데이터 초보의 경우 매우 당황스러운 경우가 많다.
물론 이 상황에서의 해결책은 데이터를 밥먹 듯이 쓰는 고수라면 당연히 알고있을 것이다.
그러나 나는 이러한 예시를 보고 감탄이 나왔다.
왜냐? 이런 예시와 설명은 비전공자가 데이터를 처음 다루게 되면 누구나 한번쯤 겪게되는 '사소한' 어려움이기 때문이다.
즉, 책에 수록된 전반적인 예시를 보면 비전공 데이터 분석가들이 데이터를 활용하게 되며 겪는 '사소한' 어려움과 해결책이 수록되어있는 만큼 비전공자에서 능숙한 실무자로 전환한 저자의 노하우와 노력을 고시란히 느낄 수 있었다.
끝으로 내가 어쩌다 데이터 분석 with 파이썬을 완독하고 이 책의 가장 아쉬운 점은 바로 제목이 아닐까 싶다. 어쩌다 데이터 분석 with 파이썬이라는 제목은 아마 책 내용으로 보건데 저자가 어쩌다가 데이터 분석을 시작해서 업으로 삼았다는 뜻으로 보이는데
어쩌다 데이터 분석 with 파이썬에 수록된 판다스의 활용방법과 다양한 실무상황에서 나타나는 문제해결법 등은 '어쩌다' 수준의 내용이 아니라 '대부분'의 경우를 담고있는 데이터 분석이 더 맞다고 생각될 정도로 자세하게 나와있는 도서이기에 초보자, 중급자 할 것 없이 데이터 분석가라면 어쩌다 데이터 분석 with 파이썬 한권을 필요할때마다 읽어보는 사전으로 활용해도 될 것 같다.
☞ 본 게시글은 출판사에서 진행하는 서평단 활동에 참여, 도서를 무상 제공 받은 후 작성한 솔직한 후기입니다. |
|
내가 데이터가 돈이 되는 세상 이런 세상에 우리도 데이터를 분석할 수 있는 능력을 가진다면 무엇인가 도움이 될 수 있지 않을까? 이 책은 파이썬 기초를 알고 있다는 전제하에 설명하고 있다. 파이썬 문법에는 익숙하지만 데이터분석은 처음인 입문자를 대상으로 한다. 그래서 이 책에는 파이썬 기본 문법에 대한 설명은 없다.혹시 파이썬이 처음인 분은 기본 파이썬 책을 본 다음 이 책을 보시기 바란다.
이 책의 저자는 자기개발 및 업무 역량 성장을 위해 파이썬 프로그래밍과 데이터 분석 스터디를 시작했고 정부 프로젝트에도 참여했다. 그리고 이렇게 개발자가 아니지만 파이썬 데이터분석 책도 집필하게 되었다. 파이썬이 개발자가 아니어도 공부해볼만한 프로그랭이란걸 이분이 보여주고 있는듯하다.
1장에서는 데이터 분석 과정에 대해 간략하게 소개하고 파이썬 프로그래밍을 위한 툴 아나곤타 설치하고 주피터 노트북 기본 설정과 사용법을 익힌다. 주피터 노트북 설치가 어렵다면 구글 코랩도 소개하고 있다. 상세한 사용법은 구글 검색을 활용하기를 권하고 있다. 파이썬 데이터 분석 주요 라이브러리 넘파이, 판다스,시각화를 위한 맷플롯립, 시본 4가지를 소개한다. 구글 코랩으로 파이썬을 배운 나도 툴을 설치하는것 보다 간편하고 좋아서 구글 코랩을 권하고 싶다.
2장에서는 넘파이 기본을 설명하고 파이썬 데이터분석에 있어 가장 핵심적인 라이브러리인 판다스를 주로 설명한다.
3장에서는 상세한 조건으로 데이터를 추출하거나 함수를 활용하여 데이터를 필터링하는 기법과 정렬 테크닉을 알려준다. 타이타닉 데이터셋을 사용해서 설명한다.
4장에서는 서로 다른 데이터프레임을 연결하고 합쳐진 데이터프레임을 다시 다른 모양으로 변경하는 학습을 알려준다.
5장에서는 판다스에서 groupby()함수의 개념과 활용법을 알려준다. 피벗 테이블과 크로스탭을 활용하여 분석하는 방법을 알려준다.
6장에서는 판다스에서 사용하는 시계열 종류인 datetime과 관련하여 날짜와 시간에 관련된 기초지식을 알려준다.
7장에서는 데이터 시각화에 사용하는 대표 라이브러리인 맷플롯립 사용법과 시본 사용법을 알려준다.
8장에서는 데이터 분석으로 EDA실습을 해본다. EDA(Exploratory Data Analysis)는 실제 데이터 분석 과정을 설계하기 전에 데이터의 양상이나 패턴을 파악하여 데이터 관련 이해도를 높이고 데이터 특성을 파악하는 시간을 갖는 과정이다.
이 책에는 배운 내용도 있고 처음 보는 내용도 있어서 앞으로 조금씩 배우면서 파이썬 데이터분석 기능을 익혀나가야겠다.
YES24 리뷰어 클럽 서평단 자격으로 작성한 리뷰입니다 . |
|
이 책은 초보자가 읽어도 내용이 쏙쏙 잘 들어오게 정리가 잘 되어 있다. 데이터의 분석이 뭔지는 물론이고 파이썬이 뭔지도 모르는 내가 이 책을 읽는데 약간의 프로그래밍 언어에 대해 잘 모르는데에서 오는 어려움이 약간은 있지만 그럼에도 불구하고 쉽게 풀이해서 씌여진 내용들이라 쏙쏙 머릿속에 들어오는 부분들이 적지않다. 또한 이런 내용들을 반복해서 보다보면 프로그래밍이라는 것도 재미가 있는 것이란 생각을 갖게 해주는 것 같다. 이 책은 1장 데이터 분석 준비, 2장 데이터 분석 기본, 3장 데이터 정제와 응용, 4장 데이터 병합과 재형성, 5장 데이터 집계와 그룹 연산, 6장 날짜시간 데이터 처리, 7장 데이터 시각화, 8장 데이터 분석:EDA 실습으로 이루어져 있다. 또한 확실한 AS로서 저자 이메일과 블로그를 공개하여 책에 관한 궁금증을 해소할 수 있게 하고 있다. 일목요연하게 잘 정리된 내용을 습득하고 이해하다보니 나 역시도 머지않아 데이터 분석 전문가가 될 것 같다. 요즘 트렌드를 따르는 데이터분석이란 핫한 분야를 이해하고 또 거기다 핫한 파이썬이라는 프로그램까지 함께 다루는 저자의 센스에 감탄을 금치 못한다. 이 책이 미래를 선점하고 앞서 나가는 좋은 기회를 제공한다는 점에 갈채를 보낸다. "YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다." |
|
사실 처음 이 책이 눈에 들어온것은 어쩌다라는 제목과 표지에 있는 그림이었다. 또 내용도 휘리릭 넘겼을 때 칼라풀 하고 눈에 확 들어오는 디자인이 세련되었다. IT책 치고는 굉장히 요즘 스타일의 그림체가, 편집 디자인이 보여서 IT서적 같지 않았다. 그리고서, 겉표지를 넘겨서 저자의 이력을 확인 했다. 왜 책이 이쁘게 나왔는지 알았다. 저자가 UX/UI를 하다가 파이썬을 배우고 나서 쓴 책이어서 훨씬 사용자 친화적인 책편집이 나오지 않았나 싶다. 물론 저자가 디자인을 하는건 아니겠지만, 괜히 느낌적인 느낌으로 영향을 주지 않았나 생각하게 되었다.
책에서는 파이썬을 판다스를 위주로 실습하게 되어 있는데, 읽다 보니, 파이썬 프로그래밍 한다는 생각 보다는 엑셀 강의를 하는듯한 느낌을 받을 정도로 쉽게 느껴졌다. 또한, 실제 한 줄 짜리 파이썬이지만, 그 밑에 깔끔한 결과물 표기가, 파이썬이 쉽게 느껴지기도 했다.
더불어 파이썬이 최근 데이터 분석에 많이 사용하는 만큼 오픈 데이터 접근 할 수 있는 곳도 알려주고, 그것을 어떻게 데이터 그룹화해서 시각화까지 해야 하는지 알려준다. 데이터 시각화에 보이는 차트들이 통계학에서 많이 사용하고, 엑셀로도 그릴려면 그릴수 있겠지만, 엑셀의 한계가 데이터가 많아지면 버벅 거린다는 것이다. 그래서 대량의 데이터를 통계학 함수를 써서, 시각화 하는 것이 파이썬의 장점임을 Ch 07에서 보여 준다. 또한, EDA 라는 데이터 분석 과정의 하나를 한 챕터에 할애 하여, 데이터를 어떻게 전처리 하고 가공하여서 시각화 까지 보여주는지 알려준다. 어느 정도 기초 파이썬 문법이 있다면, 필요 부분만 찾아서 봐도 될정도로 목차가 깔끔하고 자세하다.
문득 개발자 출신도 아닌 일명 기획자라 불리는 직군에서 파이썬 스터디를 해서 책까지 출판하게된 저자의 내공 및 기획자의 의도가 곳곳에 보인다. 언젠가 파이썬이 엑셀처럼 씌여질것 같은 시대가 다가옴을 책을 보면서 또 한번 느낀다.
※ YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다 |
|
디자인을 전공하고 UI/UX 기획자로 활동하신 김유지님이 쓰신 책. 몇년 전부터 디자이너들도 파이썬 같은 프로그래밍이나 코딩 능력을 갖추고 있어야 하는가 에 대해 의견이 분분했는데 당시에는 없는 것보다는 있는 게 낫지만 꼭 필요하진 않다 라는 의견이 상당히 지배적이었던 것으로 기억한다. 개인적으로 디자인 관련 일도 조금 하고 있어서 코딩이나 프로그래밍에도 관심이 많은데 최근에는 디자이너 뿐 아니라 일반 사무직들도 파이썬 프로그래밍이나 데이터 분석 역량을 갖춰 경쟁력을 키우는 모습들을 보면서 자극을 받고 있다. 그래서 읽어본 어쩌다 데이터분석 with 파이썬.
제목만 보면 아주 초보자들을 위한 파이썬 입문서라고 생각할 수 있지만 이 책의 대상 독자는 초중급잗르을 대상으로 하고 있다. 책의 초반부에는 파이썬을 배우지 않은 초보자들을 위한 기본적인 내용들이 수록되어 있지만 그래도 어느 정도 코딩이나 프로그래밍 언어에 대한 지식이 있는 사람을 대상으로 하는 것으로 보였다. (물론 아예 초보자라고 해도 따라갈 수 없는 것은 아니다)
오히려 초반부만 지나면 바로 실습영역으로 들어가게 되는데 실습 난이도가 생각보다 만만치 않아서 초급자에서 중급자로 넘어가는 단계에 있는 사람들이나 중급자들이 읽어보면 적합하지 않을까 싶다. (중급자의 정의를 어떻게 하느냐에 따라 다르겠지만...)
요즘은 파이썬으로 할 수 있는 일들이 참 많은데 그 중에서도 일반 직장인들, 혹은 나처럼 데이터를 시각예술같은 다양한 분야에 활용하고 싶은 사람들을 위해 파이썬은 데이터 분석에 활용할 수 있는 아주 유용한 도구라고 할 수 있다. 이 책에서도 그런 부분을 정확히 알려주고 있고 파이썬을 활용해 데이터분석은 물론 비쥬얼라이즈 하는 방법까지 실습을 통해 자세히 알려주고 있다.
책을 읽으면서 실습 부분을 따라하며 파이썬의 기본문법이나 기능을 익히는 것도 좋았지만 무엇보다 파이썬에서 할 수 있는 데이터 관련 일들의 종류와 방법들을 알 수 있어서 좋았고 그에 대한 다양한 예시들을 실습을 통해 직접 해볼 수 있어서 좋았다 특히 홈페이지에 접속하고 데이터 분석 프로그램들을 다운받아 사용하는 방법들부터 실습에서 만든 것들을 그대로 가져다가 실무에 적용해 볼 수 있는 부분이 매우 유용했다.
넘파이, 판다스, 씨본 등 라이브러리에 대한 소개와 활용방법에 대해서도 잘 나와 있어서 데이터 과학에 활용하거나 나처럼 지적 욕구를 충족하기 위해 파이썬 라이브러리 를 탐구하려는 사람들에게도 좋은 안내서가 되어 줄 듯 하다.
사실 EDA 관련 실습 과정이 파이썬 초보자인 나에게는 결코 쉽지 않은 난이도였다. 하지만 실습을 통해 관련 함수들에 대한 개념을 이해할 수 있었고 몇차례 반복을 통해 완성하기도 하며 뿌듯함도 느낄 수 있는 실습이었다. 특히 마지막 부분의 데이터 시각화에 대한 고급화 작업은 어렵긴 했지만 파이썬을 활용해 데이터를 시각화해서 보여줄 수 있는 방법에 대한 여러가지 아이디어를 얻을 수 있어서 많은 도움이 됐다.
|
![]()
지은이는 UX관련 전공을 한 후 데이터 관련 업무를 하면서 필요한 지식을 공부하면서 '원리 이해 -> 실습과 실행 -> 나만의 정리' 라는 과정을 반복하는 것을 터득하면서 이 책을 입문자 입장에서 책을 쓰기 시작하였다고 합니다. 전공자는 전공자의 눈으로 쓰다 보니 조금은 어렵게 작성되는 부분이 있는데~ 이 책은 비전공자의 시각으로 글을 작성하여 구성 또한 입문자의 입장에서 전혀 부담없는 구성으로 이루어져 있습니다.
구성을 살펴 보면 다음과 같습니다. 1장 데이터 분석 준비 파이썬의 기본 내용과 데이터 분석을 위한 핵심라이브러리(넘파이,판다스,맷플롯립,시본)등을 살펴 봅니다. 2장 데이터 분석 기본 데이터 분석의 기본이 되는 넘파이,판다스 등을 이용해 데이터를 로딩 하고 컬름을 다루는 테크닉에 대해 알아 봅니다. 3장 데이터 정제와 응용 조건식을 활용해서 데이터를 필터링 하는 방법과 결측값,이상값 등을 처리하는 방법을 살펴 봅니다. 4장 데이터 병합과 재형성 서로 다른 데이터프레임을 병합 하거나 특징들을 합해서 새로운 형태의 데이터를 만드는 방법 들에 대해 다루고 있습니다. 5장 데이터 집계와 그룹연산 같은 그룹의 데이터를 집계하거나 피벗 테이블과 크로스탭을 활용하는 방법을 살펴 봅니다. 6장 날짜시간 데이터 처리 날짜 타입의 데이터를 처리하는 방법에 대해 살펴 봅니다. 7장 데이터 시각화 맷플립롭과 시본을 이용해서 각 특징들의 그래프를 이용하여 시각화 하는 방법 등을 살펴 봅니다.
서평제가 이 책을 신청한 이유는 인공지능을 공부하면서 데이터 분석하는 것이 어렵기 때문에 자유자재로 데이터를 다루고 싶어서 신청하게 되었습니다. 이 책을 읽으면서 느끼는 것은 데이터 분석의 최고의 입문서가 되지 않을까 라는 생각을 했는데요~ 그 이유는 다음과 같습니다. 1. 입문자를 고려해서 파이썬의 중요한 문법을 다시한번 훑어 본다.
2. 데이터 분석의 기본이 되는 넘파이와 파이썬에 대해 상세하게 다루고 있다.
3. 데이터를 정제하는 방법 과 시각화 툴을 다루는 방법을 상세하게 다루고 있다.
제가 생각하는 인공지능은 빅데이터를 이용해서 확률을 계산하는 알고리즘인데요~ 빅데이터에는 확률을 계산하는데 필요 없는 쓸모 없는 데이터들이 많이 존재하게 됩니다. 인공지능을 공부하다 보면 처음 접하는 문제가 타이타닉에서 생존률을 구하는 문제를 먼저 만나게 되는데요~ 타이타닉 문제에서 티켓번호 같은 경우 생존률과 전혀 무관한 데이터 입니다. 오히려 나이/성별 같은 경우는 어린 아이나 고령의 나이 인 경우 살 확률이 높았고 여성인 경우 남성보다 살 확률이 높았습니다. 하지만 빅 데이터에서는 이렇게 우리가 알 수 있는 특징들만 주어지는 것은 아닙니다. 이것이 어떤 특징 데이터 인지 모르는 상황에서 데이터를 분석해야 하는 경우도 많고 어떤 특징이 결과에 영향을 끼치는지 알 수가 없습니다. 이럴 때 데이터 분석이 필요한데 판다스나 넘파이, 시각화 툴을 이용해서 데이터 분석을 통해서 어떤 특징들이 훈련에 필요한 데이터 인지를 찾아 낼 수 있는데요~
이 책은 이러한 데이터 분석이 필요한 분들에게 너무나 유용한 책인 것 같네요. "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다." |
|
어쩌다 데이터분석 with 파이썬책을 펼치며 이 책이 파이썬 학습에 유용한가를 먼저 생각하게 되었다 나도 어쩌다 파이썬을 시작으로 데이터분석을 하게 되었고, 파이썬을 시작할때 어려움이 이 책을 통해서 해결될수 있을지를 중점으로 책을 읽고 파이썬을 import해 보기로 했다. 1. 처음으로 좋았던 것은 데이터분석에 파이썬을 사용하는 이유와 특징이 나와있어서 파이썬을 시작하는 학습자에게 동기부여가 될 수 있겠다. 아나콘다 설치 및 주피터 노트북 실행에 대해 알려주고 실행하는 법을 캡쳐사진을 통해 상세하게 설명되어 있다. 중간중간 실행화면에 빨간글씨로 포인트 내용을 표시한것도 이해하는데 도움이 되었다
2. 41페이지 부터 데이터 타입과 흐름제어문(if..elif,for문과 range함수), 파이썬 데이터분석에 필요한 주요 라이브러리(numpy,pandas,matplotlib,seaborn에 대한 설명을 해준다. 그리고 오픈 데이터 셋 중 유용한 사이트를 알려주는 데 초보자가 학습할 수 있는 사이트부터 정보를 유용하게 쓸 사이트까지 안내 되어 있는 점이 좋다.
3. 100페이지에 데이터로드와 저장에 대해서 csv파일을 파이썬으로 실행하는 것 부터 시작해서,데이터를 어떻게 합칠지(concat),결측값 포함된 데이터 로드하는법을 차근차근 설명해주어 따라하기 쉽다. 공부했던 사람들도 다시 내용을 짚어가며 기초를 다질수 있다. 인코딩 관련 에러 대응이나, 공공데이터 포탈에 다운로드한 csv파일이 문자열이 깨진경우'cp949'라고 입력해준다는 것은 구글링에 여러번 찾고 시도해봐야 하는 것들인데 이런 디테일한 부분까지 안내 되어 있다. 4. 마지막 챕터에 EDA 실습에서는 넷플릭스 콘텐츠 관련 데이터를 로드하여서 결측값도 채우고 날짜시간 데이터를 월과 년도로 분리하는 법 등을 알려주고, country변수를 활용하여 파생변수를 만들기 그리고 콘텐츠 타입별로 데이터프레임을 저장하기 df_movie=df[df['type']=='Movie'] df_movie.head(3) 위 처럼 파이썬 코드 예시가 잘 나와있다. 좀 아쉬운점은 데이터프레임이 리스트로 접근해서 코드를 써야하는 점이 이책을 읽는 초보자에게 낯설수도 있어 설명을 나열로 적은 것이 아쉽다. 실습 데이터 코드는 화살표 방식으로 필기하듯이 알려주는 구성이였으면 좋았을 것 같다. 코드를 직접 적으면 알겠지만 이책을 끝까지 따라 왔더라도 코드가 이해안되는 부분이 있을텐데 이부분은 좀 더 상세하고 친절했으면 하는 아쉬움이 있다
어쩌다 파이썬 책은 우연히 파이썬을 접했더라도 이책을 통해 초보에서 파이썬 코드를 조금 다룰수 있는 사람을 만들어주는 따라오기 쉽게 되어있다. 구성이 조금 더 다양하고 힌트같은 문구나 빨간펜 같은 느낌의 설명글이나 말풍선글이 있었으면 더 좋았겠다는 아쉬움이 있지만 많이 딱딱하지 않은 파이썬 책이라 파이썬을 낯선 독자들에게 추천하고 싶다 yes24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다 |
|
이 책의 구성 요즘은 데이터분석 전문가가 아니더라도 업무상의 일로 데이터분석이 필요한 경우가 있다. 데이터의 중요성이 대두되는 만큼 실전에 사용할 정도로 학습해 놓는다면 다른 사람들 보다 강점이 많을 것 같아 일과 후 차근 차근 공부해보고 있습니다. 이책의 장점으로는 비전공자와 입문자가 기본서로 삼아 공부하기에 적합한거 같고 알아두면 좋을 팁과 저자의 조언이 많은 점을 꼽을 수 있습니다. 'YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다' |
[책 리뷰] 어쩌다 데이터 분석 with 파이썬 - 김유지. 한빛미디어.2022[목차 정리] - 데이터 분석의 세계. - 데이터 분석 기본. - 데이터를 만지는 방법 - 만진 데이터를 이쁘게 포장하는 방법.
파이썬을 활용 하여 데이터를 처리,가공 그리고 집계, 연산 후 정리하여 시각화 하는데 목적을 둔 책. 목적이 파이썬 데이터 분석을 위한 책이니 만큼 제목에 충실한 책이다.
disallowed url - 'https://googleads.g.doubleclick.net/pagead/ads?client
서문에 밝힌것 처럼 파이썬의 초보를 위한 책은 아니다. 기본적으로 예제를 따라하면서 익숙해지는걸 권하지만, 그 기본의 높이가 초보에게 낮지는 않다.
UX 관련 전공자였던 저자가 어쩌다보니 데이터 분석을 하게된 이들을 위한 안내서 같으 느낌은 강하다. 내가 100% 이해 하긴 힘들지만 익숙하지만 낯선 분야를 공부할때 필요하다는 정보의 느낌은 충분하게 느껴진다. 무한대로 늘어가는 정보들을 시각화해서 필요한 데이터로 분석해서 정리하는 일은 필요한 작업이다. 가치있는 정보로 가공되지 않는다면 무수히 쌓여있는 재활용더미일 뿐인거같다. 모든게 디지털로 정보들이 재가공되어가고 있는데, 결국 목적은 가공된 디지털 정보들을 활용하는데 있다. 그렇기 때문에 데이터 분석은 필요한 업무 인것이다.
반면, 해당 분야에 무관한 사람이 어쩌다 관심이 가졌다는 이유로 덤벼들기에 이 책한권이 충분하지는 않을 듯 하다. 마중물로서의 초중급자에게는 도움을 줄 수 있지만, 그 마중물의 가치를 헤아리지 못하는 나같은 필부에겐 무섭게 느껴진다. 따라만 가면 어딘가에 도착해있을거 같은 느낌은 든다. 마치 훈련소의 조교를 따르는 훈련병처럼 말이다.
그럼에도 불구하고 데이터를 분석하기 위한 노력은 필요하다. 어렵더라도 가야하는 길이라면 노력할 가치는 있다. 그리고 이 책은 데이터 분석을 위해 파이썬을 골랐고, 막 길을 떠나려는 사람에게 충분한 도움이 될거라 생각된다.
YES24 리뷰어클럽 서평단 자격으로 작성한 리뷰입니다.
책 리뷰,리뷰,비소설,어쩌다데이터분석with파이썬,파이썬,김유지,한빛미디어,데이터분석,판다스,넘파이,맷플롯립,시본,빅데이터, |
|
- 2017년, 어쩌다가 우리 팀에 새로 생긴 인공지능 파트의 파트장이 되어 머신 러닝에 발을 디뎠다. - 파트원들에게 물어가며, 윗 분들의 적절한 보호를 받아가며, 때로는 의도적으로 거친 물살에 던져지는 조각배의 선장. - 낮에는 회의를 다니고 밤에는 만삭의 아내를 재우고 인터넷을 뒤지며 독학을 하던 날들이었다. - C언어, Matlab, 파이썬을 배울 때의 첫 관문은 "Hello, World!"라는 문장을 출력하는 것이었는데 텐서플로는 좀 달랐다. - 너무나 당연하지만 데이터를 입력해 학습을 시켜야 하니 작은 신경망을 꾸미고 데이터를 넣는 것이 첫 관문이었다. - 존재는 알고 있었지만 굳이? 라는 생각에 외면해오던 pandas와의 첫 대면이었다.
● pandas vs numpy - 2008년에 파이썬을 시작했으니 시기로 치면 제법 오래됐지만 pandas는 사용하지 않고 있었다. - 파이썬에서 쓰는 엑셀 정도로 이야기를 듣기는 했지만 당시 내가 짜던 코드를 기준으로 numpy에서 모두 처리가 가능했기 때문에 아쉽지가 않던 것이 가장 큰 이유. - 우리 파트의 똘똘한 선임이 pandas는 R을 어설프게 베낀 것이라고 해준 설명에 내 시선부터가 삐딱했고 - "pandas 없이 어떻게 코딩해요? 전 못할 것 같은데 ㅎ"라는 분도 있었으나 2차원 리스트 처리를 벗어나지 않던 당시의 내 사고 범위로는 "없어도 되는데? 저 분은 코딩을 너무 쉽게 배우기 시작하셨나"라는 생각마저 들었다. - 결론적으로 나의 경험 부족에서 온 오판이었다. 데이터 분석을 일반 코딩 정도로 생각하고 있었던 게 문제였다. - 데이터를 다양한 관점에서 돌려보며 취합과 인자간 연산을 여러 가지로 반복해야 하며, 특정 조건에 부합하는 것들만 추출을 해야 했다. - 그리고 이런 일은 pandas 없이 매우 어려운 게 맞다. - 수치해석 라이브러리 numpy만 써서도 가능은 하지만 굳이 스스로의 업무 난이도를 높이는 일일 뿐이다.
● pandas vs 엑셀 - pandas는 엑셀로 할 수 있는 일을 모두 할 수 있다. - 일반 가정에서 가계부를 쓰는 것처럼 데이터를 읽고 부분합 등을 구하는 일부터 - 여러 엑셀 시트에서 서로 관계된 부분을 찾아 데이터를 치환하거나 합치는 일, - 불러온 데이터에 특정 함수를 적용해 새로운 시각에서 데이터를 바라보는 일, - 그리고 데이터를 그 자리에서 그림으로 표현하는 일까지 엑셀과 동일하게 가능하다. - 엑셀과 구분되는 가장 큰 차이는 마우스 클릭이 아니라 키보드 입력을 사용한다는 점. - 단순 업무를 매우 효과적으로 반복할 수 있다는 장점이 됨과 동시에 내가 내린 명령의 결과가 즉시 화면에 보이지 않는다는 단점이 된다. - 주피터 노트북 환경이라면 코드 한 줄을 추가해 즉시 화면에 띄워볼 수 있지만 이 역시 엑셀보다 성가시다. - .py 파일이라면 문제가 조금 더 심각해서 머리 속으로 상상하며 진행해야 한다. - 데이터 분석이 노트북 환경에서 주로 진행이 되는 이유이자 여러 커뮤니티에서 초심자들이 "이거 어떻게 해요?"하는 질문 중 적잖은 비중을 차지한다.
● 엑셀 사용자가 pandas에 익숙해지려면 연습이 필요하다. - 셀을 긁어 선택하던 방식을 명령어를 사용하는 거으로 바꾸는 것도 시행착오가 필요하고 - 인덱스가 비어있거나 중복된 경우가 낯설다 - 일부 열을 삭제하거나 새 열을 추가하는 과정이 클릭보다 덜 직관적이다. - 데이터가 비어있는 결측값은 황당한 오류의 원인이 되기 때문에 채우는 방법도 배워야 하고 - 통계적인 방법으로 이상값을 찾아 처리하는 방법은 quantile이니 IQR이니 하는 개념부터 익혀야 한다. - 여기에 문자열을 다루는 정규 표현식, 시간 데이터 형식인 datatime이 가세하면 일단 창을 닫고 쉬고 싶어진다. - 구글링으로 하나 하나 해결하기에는 유달리 여러 문제가 동시에 날아온다. - pandas의 알맹이는 numpy array이기 때문에 numpy에 대한 지식은 기본으로 깔고 가야 한다.
● pandas는 날을 잡고 한 번쯤 마스터할 필요가 있다. - 하루 이틀, 길어야 며칠 집중하는 것을 마스터한다고 하기엔 어폐가 있지만 다른 일 없이 pandas만 붙잡고 쭉 나갈 필요가 있다. - 인덱스 컨트롤, 일부 행이나 열 선택, 결측값과 이상값 처리 등을 띄엄띄엄 배우면 헷갈릴 여지가 많기 때문이다. - pivot table, merge 등 테이블을 다루는 기술은 집중해서 기본기를 익숙하게 한 뒤에 필요할 때마다 하나씩, 그러나 확실하게 익히는 편이 좋다. - 개인적으로 groupby와 pivot_table을 이상하게 많이 헷갈렸던 기억이 난다. - apply는 한 번 제대로 익혀서 계속 잘 쓰고 있는데도 남의 코드를 보면 내가 모르는 신기한 기술이 종종 보인다. - pandas에 갖춰진 편의 기능은 생각보다 많고 다양하다. - 이런 기능의 존재를 아는 사람과 모르는 사람이 정리하는 데이터는 속도와 결과물의 질이 달라질 수밖에 없다.
● 파이썬 기본부터 pandas 기능까지 - 파이썬으로 데이터 분석을 업으로 삼겠다는 사람이라면 pandas 없이 살 수 없는 것이 정상이다. - 바꿔 말하면, pandas를 잘 모르는 사람은 파이썬 기본 문법도 익숙하지 않을 확률이 높다. - 수치해석 등에만 파이썬을 오래 쓰던 사람이 pandas에 손을 뻗었을 때 정도가 예외가 될 것이다. - 이 책은 파이썬 설치부터 기본 문법을 거쳐 비로소 pandas에 인도한다. - 파이썬에 익숙한 독자라면 건너뛰어도 되지만 그렇지 않다면 다행이라는 생각이 들 수도 있다. - 데이터 분석에만 집중하는 강의들이 파이썬 기초 명령을 생략하는 경우가 있는데 초보자들에게는 너무나 어렵게 느껴지기 때문이다. - UX 관련 전공자인 저자가 제목을 "어쩌다 데이터 분석"이라고 지은 이유는 본인처럼 어쩌다 데이터 분석의 길에 들어선 이들에게 길잡이가 되고 싶기 때문이었을 것이다. - 저자의 의도가 충분히 전달되기를 바라며, 휴일 등을 이용해 집중해서 저자의 내공을 흡수하길 바란다. - 시간을 끌면 더 헷갈리는 게 pandas다.
|