난이도 높은 통계학의 핵심 개념을 직관적으로 쉽게 기술한 책. 저자의 내공과 실전 경험에 기반한 인사이트가 담겨있다.

AI 기술의 대중화로 인해 또 이런 멋진 책을 읽을 수 있게되어 기쁘다. 특히, 통계학에 통달한 분들도 좀처럼 쉽게 전달하지 못하는 난해한 주제들을 돌직구로 전달하는 저자의 카리스마에 경의를 표하고 싶다.

통계를 공부하다보면 왠만큼 머리 좋은 사람도 막히는 첫 진입 장벽들이 있다. p-value, likelihood, 최대우도추정, 재현율 등이 그것인데 설사 본인은 이해를 한다고 해도 타인에게 전달할 수 있는 능력까지 갖춘 전문가는 좀처럼 찾기 힘들다.

저자의 학력, 해외 학위 경험이나 실무 경험 등이 돋보이는 책이었는데 내가 알기로는 이 삼박자가 갖춰지지 않으면 통계의 난해한 개념을 잘 전달할 수 없다고 생각한다.

우선 통계의 용어 자체가 어렵다. 난 아직도 likelihood를 왜 우도로 번역한건지 이해가 가질 않는다. AI 커뮤니티에서도 대부분의 사람들이 지적하는 부분이기도 하다.

뿐만이랴. 본문에서도 등장하지만 번역서마다 정규화, 정칙화, 규제화, 표준화 들이 혼동되어 사용되고 있고 또 벡터, 통계, 실험 등 각 맥락마다 쓰이는 의미가 약간씩 다른데 그 맥락을 전달하는 책도 드물다.

서양권에서 태어난 용어나 개념들이 어설픈 중국의 번역을 거치고 그 용어를 우리나라가 차용하는 단계에서 원래 의미를 직관적으로 전달하지 못하는 용어들이 많다.

이는 통계의 본 고장인 미국이나 서양권의 원어를 그대로 흡수한 학자가 아니면 한국어로의 그 의미나 개념을 제대로 전달하기 어려운 부분이다. 또한, 실무 경험과 연구 양쪽의 밸런스를 모두 갖춰야 편향되지 않게 제대로 전달할 수 있는데 챕터16만 읽어도 이러한 저자의 내공이 돋보인다.

표지나 분량을 보면 통계학의 교양서로 착각하기 쉽지만 이 책은 전문서적이다. 아니, 정확히는 다루는 내용은 전문서인데 전달력은 교양서라고 할 수 있으니 이 부분이 이 책만이 가지는 독특한 차별화된 장점이다.

이 책에 담긴 내용은 통계학의 핵심이며 AI까지 연결되는 매우 중요한 개념이다. 보통 교양서라하면 p-vlaue에 대한 설명을 건너뛴다든지 likelihood와 같은 용어는 잘 전달하지 않는데 통계를 어려워서 포기하게 되는 난해한 개념들을 어떻게든 수식에 값을 넣어 산수처럼 풀어보고, 직관적인 그림으로 개념 이해를 돕고, 최대한 우리말로 풀어써 상식 수준으로 이해하게끔 도와준다.

예를 들면 아래와 같이 p-value를 직접 계산해보면서 감을 잡는 부분이 좋은 예시이다. p-value는 통계 패키지나 R과 같은 언어를 사용하면 적분 개념을 이용하여 쉽게 자동화 계산해주기에 편리하기도 하지만 그만큼 입문자에게는 손으로 계산해 볼 수 있는 기회를 빼았는 단점도 있다.

동전의 앞면이 나올 확률이라는 단순한 문제를 바탕으로 이항분포의 확률변수에 따른 확률값을 토대로 동전을 10번 던져 8번이 앞면이 나올 확률을 토대로 통상의 p-value 0.5와 비교하다보면 귀무가설이 무엇인지 그리고 작은 것을 왜 좋다고 표현하는지 등의 개념을 확실하게 습득할 수 있다.

심슨의 역설과 같이 중요한 개념도 놓치지 않고 다룬다. 아래 그림과 같이 전체 관점에서는 우하향하는 선형관계를 자세히 들여다보면 남학생, 여학생 그룹별로 우상향하는 관계를 파악할 수 있다.

물론 이와 같은 현상은 샘플데이터가 적었을 때 의미있는 이슈가 되겠고 요즘과 같이 빅데이터와 AI 기반으로 모집단 자체를 학습할 수 있는 컴퓨팅 파워를 보유한 시점에는 쉽게 파악해 낼 수 있는 부분이다.

그런점에서도 이 책의 장점이 돋보이는데 전통적으로 통계학에서 중요시 여겼던 귀무가설 검정이 쇠퇴하고 최대우도추정이 힘을 얻게 된 배경도 소개하고 있어 배우는 개념마다 장단점 혹은 트렌드를 쉽게 파악할 수 있다.

책의 전달력을 높이는 요소로 저자의 내공과 전달력이 가장 중요하겠지만 시각화도 이에 못지 않은 장치이다. 그림과 같이 라쏘나 릿지의 개념을 파악하는데 노름의 다양한 형태를 시각적으로 전달하고 시각화를 기반으로 최적의 해를 구하는 개념 설명은 그 어떤 책보다 쉽게 풀이한 것 같다.

분산안정화 또한 실험을 진행하다보면 측정 오류 등의 이슈로 흔히 발행하는 문제인데, 직관적으로 분산이 평균에 의존하지 않게 하는 개념이라는 점과 로그 변환 수행등의 솔루션을 제시하고 있다.

통계를 익히는 또 하나의 고비 재현율과 관련해서도 상당 부분을 할애해 직관적으로 쉽게 설명하고 있어 인상적이었다. ROC 곡선을 x축, y축 관점으로 해부하면서 각각의 의미를 파악하고 아래 그림과 같이 이진 분류의 케이스별 성능 평가 방법을 정리하는 일련의 과정이 돋보인다.

정리하자면 그동안 이해하기 어려웠던 개념들을 이해하며 아 이게 그 의미였구나 탄식하며 읽는 내내 재미를 느꼈다. 내가 확실하게 이해하고 있다고 자부하는 부분까지 또 다른 각도로 개념마다의 진의를 파악할 수 있는 기회를 얻을 수 있었다. 마치 후배를 생각하는 멋진 선배님의 무공 비급을 얻은 느낌이라고나 할까?

얼마전 머신 러닝 마스터 클래스라는 책을 읽고 리뷰했는데 그에 준하는 멋진 책이 등장해서 정말 기분이 좋다.

AI의 코어를 담당하는 통계의 진의를 이렇게 쉽고 재미있게 익힐 수 있는 책들이 계속 쏟아졌으면 좋겠다. 그간의 시행착오를 이토록 쉽고 편하게 전달해주는 선배 저자분들께 감사를 표하며 리뷰를 마친다.

• 책소개 - 59가지 통계학 궁금증 완전 정복

출판사로부터 도서를 지원 받아 

공부하면서 솔직하게 작성한 글입니다.

저는 최근 데이터 분석, 머신러닝 쪽을 조금씩 공부하면서 통계 공부가 필요하다는 것을 절실하게 느꼈습니다.

빅데이터 분석기사 시험만해도 공식화해서 암기하면 어느 정도 합격할 수 있지 않을까 싶었지만, 충분한 이해 없이 외우기도 어렵더라고요.

그래서 '데이터 분석가가 궁금해 할 통계의 모든 것'이라는 이 책의 부제를 보고, 꼭 봐야겠다 생각하게 됐습니다.

이 책은 통계학을 공부하면서, 특히 데이터 분석, 머신러닝을 위한 통계 공부를 하면서 만나게 될 이러한 질문들에 대한 답변들을 고루 담은 책입니다.

고등학교 때 배웠던 ＜확률과 통계＞, 대학교 때 배웠던 ＜통계학 개론＞, 사회조사분석사 시험에서 공부했던 ＜통계분석＞ 등에서 다뤘던 내용들은 쉽게 읽어가면서 몰랐던 내용들을 채워 넣고 공부했던 내용을 다시 구조화하기에 좋았고, 전체적으로 모호하게 알고 있던 통계 개념들을 비교 설명하여 명확하게 이해할 수 있도록 설명되어 있습니다. 

데이터 분석 관련 시험에서 배웠던 여러 통계 이론들은 익숙하지만 여전히 잘 모르겠어서 유튜브 강의도 참고해보려고요. 일단 한 번 읽자는 마음으로 무슨 말인지 모르겠는 내용들은 휙휙 넘겨가며 읽었습니다. 

책 내용은 총 4개의 챕터로 구성되어 있습니다.

  Chapter 1. 통계학을 배우면서 드는 기본적인 궁금증

  Chapter 2. 추론 통계를 배우면서 드는 궁금증

  Chapter 3. 가설 검정을 배우면서 드는 궁금증

  Chapter 4. 회귀 분석을 배우면서 드는 궁금증

자세한 개념서 같은 책이 아니고 책 제목 그대로 QnA를 잘 정리해놓은 책이어서 그런지 어느 정도 아는 부분을 읽을 때랑 모르는 부분을 읽을 때 이해도가 천차만별이라고 느껴졌습니다. 어느 정도 통계 배경 지식이 있어야 책을 재미있게 읽을 수 있을 것 같습니다. 

예전에는 통계 지식은 통계청 같은 곳에서 통계를 내거나 정량 연구 논문 쓸 때 사용하는 정도라고 생각했었는데, 지금은 통계 지식을 깊이 있게 아는 건 여러 분야에 뛰어들 때 강력한 무기를 장착하고 뛰어드는 것이라고 느껴집니다.

통계 도구를 사용할 줄 알아서 원하는 결과를 얻어내는 것만도 훌륭하지만, 원리를 알아서 정교하게 설계하고 풍성하게 해석할 수 있다면 결과의 질이 달라지겠지요. 

부담스럽지 않고 편안하게 읽어나갈 수 있고, 일반적으로 세세하게 다루지 않는 많은 내용들을 담고 있어서 통계에 관심이 있으신 분들은 읽어보시길 추천드리고 싶습니다. 유튜브 강의도 짤막하니 틈새에 보기 좋겠네요. 👍

안녕하십니까, 간토끼입니다.

오늘은 길벗 출판사에서 제공 받은 59가지 통계학 궁금증 완전 정복에 대한 서평을 작성해보도록 하겠습니다.

여러모로 정말 오랜만에 올리는 포스팅이네요.

한동안 책을 제공 받을 기회가 있어도 서평을 남기고 싶을 정도로 적극적인 상황이 아니어서 그러질 않았었는데요.

우연히 이 책을 보고 나서, 이 책은 정말 읽고 서평을 남기고 싶어서 길벗 출판사로부터 제공 받았습니다.

데이터 분석, 데이터 사이언스 등의 키워드에 관심을 갖는 분들이라면 통계학은 사실 멀리하고 싶어도 그럴 수가 없는 학문인데요. 데이터를 다루는 것 자체가 통계학의 범주 안에 있기 때문이죠.

요즘은 꼭 이공계열/자연계열이 아니더라도, 사회과학이나 인문학 공부를 하는 분들도 통계를 워낙 많이 사용하니, 가장 실용적이면서도 우리에게 친숙한 학문이 통계학이 아닐까 싶습니다.

하지만 전공자가 아니라면 비전공자 분들은 통계학의 딱딱한 키워드가 꽤나 어렵기도 하고, 직관적으로 이해하기 어려워서 그저 기계적으로 암기하거나 피상적으로만 이해하고 적용하는 분들이 많으실 거라 생각해요.

이 책은 그런 분들에게 큰 도움이 될 것이라 생각합니다.

Q. 이 책은 어떤 책인가요?

제목에서도 알 수 있듯이, 통계학의 복잡한 개념을 독자가 직관적으로 이해할 수 있게 돕는 책입니다.

통계학은 사실 깊이 파고 들면 들수록 굉장히 복잡하고 체계적인 학문입니다. 알아야 할 개념도 정말 많고요.

다만 응용 분야에서 통계학을 보조 도구 정도로 활용하시는 분들은 그렇게까지 깊게 아실 일이 많지도 않고, 가장 많이 활용되는 영역은 흔히 기초통계학, 통계학개론이라고 불리는 정도의 개념들 정도라 생각합니다.

이 책은 기초통계학(통계학개론) 정도의 개념, 혹은 회귀분석을 공부하면서 들 수 있는 59가지의 궁금증을 제시하고, 이를 직관적으로 해소하기 위해 다양한 그림과 직관적인 예시를 통해 설명하는 책입니다.

크게 4가지 챕터로 구분할 수 있는데요.

Chapter 1. 통계학을 배우면서 드는 기본적인 궁금증 (Q1. ~ Q22.)

Chapter 2. 추론 통계를 배우면서 드는 궁금증 (Q23. ~ Q35.)

Chapter 3. 가설 검정을 배우면서 드는 궁금증 (Q36. ~ Q42.)

Chapter 4. 회귀 분석을 배우면서 드는 궁금증 (Q43. ~ Q59.)

챕터만 보셔도 제가 위에서 언급한 기초통계학 내용에서 느낄 수 있는 궁금증을 다룬 것을 알 수 있습니다.

그렇다고 이런 내용이 가볍거나 쉽지 않다는 건 아닙니다. 가장 흔하게 쓰이면서도, 자칫 잘못하면 오해할 수도 있는 개념들이거든요.

가령 가설 검정을 통해 도출되는 p-value를 기계적으로 0.05보다 작으면 우리의 모델이 타당하다고 결론 짓는 경우, 회귀분석의 가정을 명확히 이해하지 못하고 무작정 모델링을 해서 잘못된 결론을 도출하는 경우 등 우리 주변에서는 이러한 내용들을 흔하게 오해하고 해석하는 경우가 많습니다.

저도 이 책을 읽으면서, 통계학의 다양한 개념들을 명확히 이해하지 못하고 사용하던 경우가 있던 걸 깨달았을 정도로, 이 책은 꽤나 유익하고 추천하고 싶은 책이라고 생각합니다.

Q. 그럼 누구에게 추천하는 책인가요?

개인적으로는 통계학보다는 응용 분야에서 통계학을 사용하는 분들에게 추천하고 싶은 책입니다.

가령 사회과학 연구를 하시면서 회귀분석이나 t-test 등의 모형을 자주 사용하시는 분들,

혹은 데이터 분석을 배워보기 위해 통계학 공부를 하시는 비전공자 분들에게 추천하고 싶습니다.

저와 같은 경제학 전공자에게도 마찬가지로 추천하고 싶습니다.

왜냐하면 이러한 분들은, 보통 전공 수업을 예로 들면, '사회통계', '경영통계학', '경제통계학' 등 비슷한 기초통계학 내용을 학과에 맞게 다듬어진 수업을 수강하면서 통계학을 배우게 되는데요.

깊은 내용보다는 전반적으로 훑는 경우가 많고, 제 경험에 미루어 보았을 때 대부분 통계학을 썩 좋아하지 않는 분들이 많았습니다. 그러다보니 개념을 명확히 이해한다기 보단, 수업을 위한, 혹은 시험을 위한 공부 정도로만 마무리하고 기계적으로 활용하게 되더라고요.

사실 저만 하더라도 데이터 사이언스를 본격적으로 전공하기 전에는 비슷한 상황이었던 것 같아서, 꽤나 공감이 갑니다.

그렇기 때문에 이 책이 매우 효과적일 것이라 생각해요.

어쨌든 이 책이 다루는 주제는 기초통계학 전반의 내용이기 때문에, 최소한 기술통계, 확률의 기초, 추론 통계, 회귀분석 정도는 알고 계신 분들이 들으면 효과적일 것 같아요.

가령 최대우도추정의 개념을 설명하기 위해 우도(likelihood)의 개념을 '어떤 파라미터를 따르는 확률분포와 보유한 관측 값들의 일관된 정도를 의미'한다고 설명하고 있는데, 이걸 통계학을 처음 접하는 분들이 단번에 이해하기엔 어려움이 있을 거라 생각합니다.

하지만, 샘플이 주어져 있을 때 확률분포의 파라미터를 추정한다는 것이 무엇인지 감은 잡은 상태이고, 하지만 명확히 우도라는 개념이 무엇인지, 그리고 우도함수(likelihood function)을 최대화하는 파라미터를 찾는다는 개념이 무엇인지 이해하기 어려웠던 분들에게는 이 책의 설명이 효과적으로 다가오겠죠.

그러한 맥락에서 이 책이 '기초통계학 정도는 수강해본 독자들'에게 큰 도움이 될 수 있을 거라 생각합니다.

최대우도추정법(Maximum Likelihood Estimation)에 대해 좀 더 예시를 들어볼까요?

MLE를 접해보신 분들 중 명확한 이해 없이 문제를 풀어보신 분들은 이러한 경험에 공감하실 거라 생각해요.

가령 'MLE가 뭔진 모르겠지만, 주어진 샘플이 따를 것이라고 추정하는 확률분포의 pdf를 곱한 likelihood function을 정의하고, 여기에 로그를 취한 log-likelihood function을 정의한 후에, 확률분포의 파라미터 $\theta$에 대해 미분함으로써 최대우도추정량을 구하는 거 아니야?' 는 아신다고 하면,

정확히 가능도와 확률의 차이가 무엇인지, 그리고 log를 취하는 이유는 무엇인지 등에 의문을 가질 수 있다는 거죠.

이 책은 위와 같이 이러한 궁금증을 단계별로 해소해주고 있습니다.

우도와 확률의 차이부터, likelihood function의 의미, 이를 최대화하는 것의 통계적 의미, 그리고 우도에 로그를 취함으로써 얻을 수 있는 이점을 로그 함수의 성질을 이용해 설명하고 있습니다.

그러한 의미에서 이 책이 비전공자를 위한 체계적이고 좋은 설명을 제공한다고 생각했습니다.

Q. 이 책의 장점은 무엇인가요?

이 책의 장점은, 책에서 언급한 '59가지 궁금증'이 통계학을 공부해본 사람으로부터 나올 수 있는 훌륭한 궁금증이라는 점에서 통계학 전문가/비전문가에게 실용적인 책이라는 것입니다.

특히 인공지능과 빅데이터라는 개념이 보편적으로 사용되고 적용되면서 통계학의 중요성이 점점 커지고 있는 상황에서, 이러한 개념들을 명확히 이해하지 않고 도구를 사용하는 데 그치는 경우가 많다 보니 통계학을 잘못 이해하고 사용되는 상황 또한 많아지고 있다는 것이죠.

그래서 이 책은, 어떻게 보면 직접 시행착오를 겪은 사람으로부터 나온 통계학의 지혜를 가장 가성비있게 습득할 수 있는 책입니다.

직접 시행착오를 겪고 깨달으셨던 분들에게는 다시 한번 복습할 수 있는 기회가 되겠고, 아직 접하지 못한 분들은 실수와 오해를 사전에 방지할 수 있다는 기회가 되겠네요.

가령 사회과학쪽 연구자들의 이야기를 듣다 보면, p-value의 오해를 가진 분들이 많은 걸 알 수 있습니다.

회귀분석을 돌려서 p-value가 0.05 (혹은 다른 정도의 유의수준) 보다 작으면 무작정 좋다고 생각하는 분들이 있는데요.

간혹 통계학 책들에서도 소개하는 개념이지만 'Practical significance vs Statistical significance' 라는 개념이 있습니다.

통계학적 유의성(Statistical significance)는 p-value 등으로 나타나는 개념으로, 어떤 효과나 차이가 우연에 의할 가능성이 있다는 걸 알려주는 거고, 실질적 유의성(Practical significance)는 관측된 효과나 차이가 실제 상황에서도 유의미한 것인지를 의미하는데요.

간혹 통계학적 유의성으로 실질적 유의성까지 도출하는 분들이 있더라고요.

반대로 상관관계를 인과관계로 오인하는 분들도 있으시고요.

이 책은 이러한 오해를 해소해줄 수 있는 책입니다.

p-value가 작으면 좋다고 하는데 왜 좋은 건지? 그리고 p-value의 정확한 의미가 무엇인지? 등을 이 책을 통해 살펴보신다면 통계학의 흥미를 느끼실 수 있을 거라 생각합니다.

정리하면 이 책은 가볍게 읽을 수 있는 비전공자를 위한 통계학 길라잡이 정도로 말할 수 있겠습니다.

수식은 꼭 필요한 경우에만 써있고, 그 외 대부분은 수식없이 시각적으로 풀어 내고자 그림과 도표를 풍부하게 활용했다보니, 꼭 책상 앞에 앉아 써가면서 공부할 필요 없이 가벼운 마음으로 읽으셔도 충분해보입니다.

저도 ktx나 카페에서 지인을 기다릴 때 보는 용도로 읽었고, 그렇게 봐도 충분히 즐겁게 이해할 수 있습니다.

또한 저자의 유튜브 강의(https://www.youtube.com/@paintingscientist) 도 있으니, 가벼운 마음으로 이해가 안 되는 개념은 시청해보셔도 유익할 것 같습니다.

저도 나중에 박사 학위까지 받고 나면, 이러한 책을 써보고 싶단 생각이 있었는데,

제 꿈에 좋은 앵커가 될 것 같아 읽으면서 참 많은 걸 느끼게 됐네요.

정말 오랜만에 남들에게 추천해주고 싶은 책을 읽게 해주신 길벗 출판사에 감사함을 전합니다.

감사합니다.

황성원 저자의 『59가지 통계학 궁금증 완전 정복』은 통계학을 전공한 사람의 입장에서 보더라도 매우 흥미롭고 유익한 책이다. 이 책은 단순한 개념 나열이 아니라, 실제 통계학을 공부하며 누구나 한 번쯤 품게 되는 본질적인 의문들을 중심으로 구성되어 있다. "왜 평균이 유용한가?", "표본은 왜 전체를 대표할 수 있는가?"와 같은 질문들은 통계를 단순히 수치나 공식으로만 이해했던 사람들에게 개념의 뿌리를 되짚어보게 만든다. 특히 이 책은 실생활 속 사례들을 활용하여 통계 개념을 풀어내고 있어, 통계학 이론이 현실 문제 해결에 어떻게 응용되는지를 생생하게 보여준다.

전공자로서 이 책의 가장 큰 장점은 통계학의 주요 개념들을 단편적으로 설명하지 않고, 유기적으로 연결하여 설명한다는 점이다. 예를 들어, 상관관계와 인과관계의 차이, 표본 추출 방법의 장단점, 신뢰구간과 유의확률의 해석 등은 전공 수업에서도 자주 혼동하거나 깊이 고민해야 하는 부분인데, 저자는 이를 일상적인 언어로 풀어내 독자의 사고를 돕는다. 이 책은 초심자에게는 입문서로, 전공자에게는 기존 지식을 점검하고 통찰을 얻을 수 있는 참고서로서 가치가 크다. 통계를 처음 접하는 사람뿐 아니라 통계를 전공하며 개념을 더 깊이 이해하고자 하는 이들에게도 강력히 추천할 만한 책이다.

예스24 리뷰어클럽 서평단 자격으로 도서를 제공받고 작성한 리뷰입니다