★ 요약 ★
pandas의 모든 기능을 친절한 예제와 설명, 실제 파이썬 코드를 통한 실습과 함께 설명한다. pandas의 핵심 DataFrame과 Series를 주축으로 함수, 메서드, 속성을 설명하고 장단점은 물론 메모리 사용량과 처리 시간도 비교한다. 금융 데이터에서 가장 중요한 시계열 자료를 처리하는 다양한 방법과 SQL 데이터베이스에 연결하는 방법도 알려준다. 한편 pandas 라이브러리의 그룹화 함수를 체인 기능과 집계함수를 결합해 사용할 때 pandas 라이브러리의 강력한 힘을 느낄 수 있다.
그리고 정돈된 데이터(tidy data)의 정의와 함께 데이터 정돈 방법과 절차를 자세히 알아보고 matplotlib, python plot, seaborn을 이용한 데이터 시각화와 각각의 장단점을 상세히 설명한다.


★ 이 책에서 다루는 내용 ★

■ 모든 데이터셋을 탐색할 수 있게 해주는 pandas의 기본 지식
■ 쿼리와 선택으로 데이터 중 원하는 부분만 부분집합으로 적절히 골라내는 방법
■ 데이터를 종합하거나 각 그룹으로 변환하기 전 개별 그룹으로 분할하는 방법
■ 데이터 분석과 시각화가 용이하도록 데이터를 정돈된 형식으로 재구성하기
■ 복잡한 실제 환경 데이터를 머신러닝에서 사용할 수 있도록 준비하기
■ pandas의 SQL 유사 연산 기능으로 서로 다른 소스의 데이터 병합하기
■ pandas의 독보적인 시계열 데이터 처리 능력
■ pandas의 matplitlib나 seaborn을 사용한 시각화 기능


★ 이 책의 대상 독자 ★

단순한 예제에서 고급 예제까지 거의 100가지 예제를 다룬다. 모든 예제는 간단명료하고 최신 파이썬 문법과 구문을 사용해 작성했다. ‘작동 원리’ 절에서는 예제의 복잡한 각 단계를 상세히 설명하며, 종종 ‘추가 사항’ 절에서 새로운 예제에 대한 정보를 얻을 수 있다.
처음 6개 장의 예제는 간단한 예제로 구성됐으며, 이후 5개 장에 비해 기본적이고 근본적인 pandas 연산에 중점을 둔다. 나머지 5개 장은 고급 연산과 프로젝트 성격이 강한 예제를 소개한다. 난이도가 광범위하므로 초보자나 숙련자 모두에게 유용하다. 내 경험에 비춰 봤을 때 pandas를 일상적으로 사용하는 사람도 pandas의 관용구에 익숙하지 않다면 마스터하지 못할 것이다. 이는 pandas가 방대한 영역을 다루기 때문이다. 대부분 동일한 연산을 수행할 수 있는 방법은 여러 가지가 있기 때문에 사용자는 원하는 결과를 얻고자 비효율적인 방법을 사용하고 있을 수도 있다. 동일한 문제를 해결하는 pandas 솔루션의 속도 차이가 수십 배 이상 다른 경우도 빈번하다.
필수 지식은 오직 파이썬뿐이다. 독자가 리스트(list), 집합(set), 딕셔너리(dictionary), 튜플(tuple) 등의 파이썬 내장 데이터 저장소에 어느 정도 익숙하다고 가정한다.


★ 이 책의 구성 ★

1장, ‘pandas 기초’에서는 pandas 데이터 구조를 이루는 두 구성 요소인 Series와 DataFrame을 해부하고 용어를 정리한다. 각 열은 동일한 데이터 형식을 가져야 하고 우리는 각 데이터 형식을 알아본다. 이를 통해 Series와 DataFrame의 메서드를 호출하고 바꾸면서 두 요소의 진정한 힘을 배울 수 있다.
2장, ‘기본 DataFrame 연산’에서는 데이터 분석을 위해 가장 중요하고 보편적인 연산을 알아본다.
3장, ‘DataFrame 생성과 유지’에서는 DataFrame을 생성하고 값을 넣는 다양한 방법을 알아본다.
4장, ‘데이터 분석 시작’에서는 데이터를 읽어 들인 후, 해야 할 반복 작업에 도움이 되는 내용을 다룬다.
5장, ‘탐색적 데이터 분석’에서는 수치와 범주 데이터를 비교하는 기본 분석 기법을 다룬다. 또한 일반적인 시각화 기법도 알아본다.
6장, ‘데이터의 부분집합 선택’에서는 서로 다른 부분집합 선택에서 다양하고 혼동되는 부분 등 여러 주제를 다룬다.
7장, ‘행 필터링’에서는 불리언 조건을 이용해 데이터의 부분집합을 선택하는 쿼리 프로세스를 다룬다.
8장, ‘인덱스 정렬’에서는 상당히 중요하면서도 종종 잘못 이해하고 있는 인덱스 객체를 다룬다. 인덱스를 잘못 다루면 많은 잘못된 결과를 초래한다. 예제에서 강력한 결과를 얻을 수 있는 올바른 사용법을 알아본다.
9장, ‘그룹화를 위한 집계, 여과, 변환’에서는 데이터 분석에 필요한 강력한 그룹화 기능을 다룬다. 따라서 목적에 맞는 그룹에 적용할 사용자 정의 함수를 구성할 수 있다.
10장, ‘정돈된 형식으로 데이터 재구성’에서는 정돈된 데이터를 설명하고 중요한 이유를 알아보고 서로 다른 형태의 데이터를 정돈하는 방법을 다룬다.
11장, ‘pandas 객체 병합’에서는 DataFrame과 Series를 수직과 수평으로 병합하는 여러 메서드를 알아본다. 또한 웹 스크래핑으로 트럼프와 오바마 대통령의 국정 수행 평가 점수를 비교하고 웹 스크래핑과 SQL 관계형 데이터베이스 연결을 실습해본다.
12장, ‘시계열 분석’에서는 가능한 모든 시간 차원에 따라 분해할 수 있는 시계열의 강력한 고급 기능을 알아본다.
13장, ‘matplotlib, pandas, seaborn을 이용한 시각화’에서는 pandas에서 모든 도식화의 기본이 되는 matplotlib 라이브러리를 소개한다. 그리고 pandas plot 메서드와 seaborn 라이브러리 등 pandas에서 직접 제공하지 않는 다양하고 심미적인 시각화 기능을 알아본다.
14장, ‘pandas 디버깅과 테스트’에서는 DataFrame과 pandas 코드를 테스트하는 메커니즘을 살펴본다. 생산 라인에 pandas를 배포할 계획이라면 이 장을 통해 코드를 신뢰할 수 있게 돕는다.


★ 지은이의 말 ★

pandas는 파이썬을 사용해 구조화된 데이터를 만들고 조작하기 위한 라이브러리다. 구조화했다는 것은 무슨 의미일까? 구조화란 스프레드시트나 데이터베이스에서와 같이 행과 열의 테이블 형식으로 된 데이터를 의미한다. 데이터 과학자, 분석가, 프로그래머, 엔지니어 등은 데이터를 활용하고자 이런 형식의 데이터를 활용하고 있다.
pandas는 ‘작은 데이터’(단일 시스템 메모리에 들어갈 수 있는 데이터)만 다룰 수 있다. 그러나 pandas의 구문과 연산은 PySpark, Dask, Modin, cuDF, Baloo, Dexplo, Tabel, StaticFrame 등 다른 프로젝트에 채택되거나 영감을 줬다. 프로젝트에는 다양한 목표가 있지만 일부 프로젝트는 빅데이터로 확장된다. 따라서 pandas는 구조화된 데이터와 상호작용하기 위한 사실상 표준 API가 되고 있으므로 작동 방식을 이해할 가치가 있다.
내 이름은 매트 해리슨(Matt Harrison)이며 기업 교육을 수행하는 메타스네이크(MetaSnake)라는 회사를 운영한다. 내가 하는 일은 파이썬과 데이터 기술을 향상시키고자 하는 대기업을 훈련하는 것이다. 따라서 수년 동안 수천 명의 파이썬과 pandas 사용자를 가르쳤다.
2판을 쓸 때 내 목표는 pandas와 관련해 많은 사람이 혼동을 겪는 부분을 열심히 돕는 것이었다. pandas는 여러 이점이 있지만 어렵고 혼란스러운 점이 있다. 독자 여러분이 실제 환경에서 그러한 문제점을 해결할 수 있도록 돕고자 한다. 라이브 교육에 관심이 있다면 언제든지 문의하라(matt@metasnake).