개요

새로운 프로젝트를 시작하거나 서비스를 도입할 때, 모델 선택, VRAM 용량, 자원 확보 등의 기술적인 요소들이 우선적으로 고려된다. 하지만 실제로 중요한 것은 주어진 일정 내에 서비스를 구현하거나 원하는 기능을 만드는 것만이 아니라 데이터 확보 및 관리, 외부 요인 분석 등의 인과추론 역시 성공적인 프로젝트를 위해 필수적인 역할을 한다.

성공적인 테크 기업들은 A/B 테스트, 스위치백, 통제집단합성법 등 다양한 인과추론 방법론을 적용하고 개발하여 시장, 제품, 사용자에 대한 이해를 높인다. 이러한 접근 방식은 까다롭고 복잡할 수 있지만, 기업의 성장과 발전에 필수적인 역할을 합니다.

이 책은 데이터 사이언티스트의 시각에서 인과추론의 기초부터 심화까지 다루는 전문 서적이다. 다양한 실제 사례를 통해 인과추론 개념을 이해하고, 실제 문제에 적용하는 방법을 배우도록 도와준다.

책의 구성

1부에서는 인과추론의 기본 개념을 다룬다. 1장에서는 가격 인하가 미치는 영향을 분석하는 데 필요한 인과추론의 주요 개념을 소개한다. 2장에서는 A/B 테스트(또는 무작위 통제 실험)의 중요성을 다룬다. 이는 의사결정 도구로서뿐만 아니라, 다른 인과추론 도구들을 평가하는 기준점 역할을 한다. 3장에서는 주로 이론에 중점을 두고, 인과관계 식별과 그래프 모델을 다룬다. 이렇게 1부를 다 읽고 나면 인과추론에 대한 기본적인 이해를 갖추게 된다.

2부에서는 인과관계와 상관관계를 구분하는 데 중요한 선형회귀분석과 성향점수 가중치에 대해 배운다. 4장에서는 선형회귀분석을 새로운 관점에서 다루는데, 특히 직교화라는 중요한 편향 제거 방법에 초점을 맞춘다. 5장에서는 성향점수와 이중 강건 추정법을 살펴본다.

3부에서는 머신러닝과 빅데이터를 이용해 2부에서 배운 내용을 확장한다. 또한 인과추론을 개인화된 의사결정 도구로 활용하는 방법을 배운다. 6장에서는 처치효과의 다양성을 알아보고, 7장에서는 머신러닝과 인과추론이 만나면서 나타나는 최근의 발전상을 탐구한다. T러너, X러너, S 러너와 이중/편향 제거 머신러닝과 같은 방법들을 처치 개인화 측면에서 배운다.

4부에서는 인과추론에 시간 차원을 더한다. 8장에서는 이중차분법과 관련 최신 연구를 다루고, 9장에서는 마케팅 캠페인의 영향을 분석하는 데 사용하는 통제집단합성법과 그 변형을 알아본다.

마지막으로 5부에서는 랜덤화가 어려운 상황에서 활용할 수 있는 다양한 실험 설계 방법을 소개한다. 10장에서는 지역 실험을 다루는데, 실험군과 대조군 지역을 선정하는 방법과, 분석 대상이 적을 떄 처치효과를 파악하기 위한 스위치백 실험을 진행하는 방법을 소개한다. 11장에서는 불응이 존재하는 실험을 다루고, 도구변수를 사용하는 방법과 불연속 설계에 대해 간략히 설명한다.

마치며

인과추론은 과학, 의학, 경제학, 사회과학 등 다양한 분야에서 중요한 역할을 하는 도구이다. 그러나 국내에서는 관련 도서가 부족하여 학습에 어려움을 겪는 경우가 많았다.

이 책은 이러한 상황을 해결하기 위해 인과추론의 이론부터 실제 사례에 대한 적용까지 깊이 있게 다루는 책이다.

    "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

한빛미디어 출판사의 "실무로 통하는 인과추론 with 파이썬(마테우스 파쿠레 저/신진수, 가짜연구소 인과추론팀 역)"를 읽고 작성한 리뷰입니다.

AI가 아직 해결하기 힘든 난제이자 진리로 향하는 필수 도구인 인과추론의 개념과 도출 기법을 다룬 몇 안되는 희귀한 도서.

“인과관계는 상관관계와 다르다.”(이 책에서는 상관관계를 연관관계라는 단어로 표현한다.)

아이스크림이 많이 팔리면 상어에게 인간이 잡혀먹힐 확률이 높다라는 가정은 직관적으로 생각해도 말이 안되는 명제이지만 일상에서 생각보다 많은 사람들이 상관관게의 현상에 가려 잘못된 인과를 도출한다.

실상 원인은 기온이고 그에 따른 결과로 아이스크림이 많이 팔릴 뿐이다. 기온이 올라가니 사람들이 해변에서 수영을 즐기는 빈도가 높아지고 자연스레 상어로 부터의 위험에 노출될 확률이 올라가는 것이다.

그럼에도 해당 도메인 분야에 약간의 무지만 더한다면 상관관계와 인과관계를 구별하는 것은 생각보다 쉬운일이 아니다. 이 책은 통계학적 기법을 중심으로 그 차이를 분별해 낼 수 있는 능력을 키워주는 도서이자 나아가 통계 모델과 수학을 활용하여 관측된 데이터를 객관적으로 해석할 수 있는 방법을 도출하는데 도움을 준다.

사실 인과추론은 결코 쉬운 주제가 아니다. 경험의 축적을 통해 충분히 인과관계를 밝힐 수 있는 직관이 확립된 일상생활이나 또는 수십년간의 연구를 통해 해당 도메인 분야에 내공이 쌓인 경우가 아니라면 결국은 관측 데이터를 통해 궁금증을 해결할 수 밖에 없기 때문이다.

위험한 함정에 빠지지 않기위해 이 책에서는 실제 데이터와 파이썬의 시각화를 통한 검증을 거쳐가며 가급적 쉽게 인과추론의 타당성을 검증해 나간다.

책의 구성 상 차례대로 읽어나갈 것을 권하고 싶다. 특히 1장의 경우 인과추론 입문 과정의 필수지식을 담고 있기에 반드시 정독해야 한다. 인과추론의 기본 개념은 물론 관계 심슨의 역설과 같은 반드시 알아두어야 할 인과 함정 등의 내용이 등장한다.

특히, ATE(평균 처치효과), 실험군에 대한 평균 처치효과(ATT), 조건부 평균 처치효과(CATE) 개념은 반드시 숙지해 둬야 할 개념이다. 인과추정량을 모르고는 2장부터 마지막까지 이어지는 대부분의 내용을 이해하기 어려울 것이다.

인과의 함정을 피하기 위한 도구로 후반부 까지 지속적으로 검증에 도움을 주는 도구로 활용되기 때문이다.

초반부에는 인과를 검증하기 위한 어려 장치들이 등장한다. 통계학 진영에서 긴 세월동안 축적해 온 귀무가설의 p-value를 측정할 때 활용하는 유의성 검증부터 시각적 도구로 난해한 관계에 직관을 부여하는 그래프 인과 모델 등이 그러한 예시이다.

2부로 넘어가면 회귀분석을 활용하여 편향을 제거하는 방법이나 및 성향점수나 이중 강건 추정법을 활용하는데 마치 연안에서 망망대해를 나가는 과정에 비유할 수 있겠다.

3부에서는 머신러닝을 활용한다. 그간 전통적인 통계 기법은 엄밀성을 강조한 나머지 추론한 결과의 신빙성은 보호할 수 있었으나 경영진이 의사결정하는데 있어 정작알고 싶은 가려운 구석은 긁어주지 못하는 한계를 가지고 있었다.

최근 화두가 된 AI 진영의 기법이 더해지면서 보다 실용적으로 인과추론을 활용하는 시도들이 소개된다. T, X, S러너들이 대표적인 기법들인데 개인화에 초점을 맞춘다거나 편향을 제거하는데 보다 좋은 성과를 얻을 수 있다.

4부는 개인적으로 가장 흥미롭게 읽었던 부분이다. 솔직히 통계학 전공이 아니기에 매 순간 이해하는데 어려움이 많았는데 이 파트는 더욱 이해하기 어려웠다. 인과에 시간이 더해지는 파트이다.

사실 인과 자체도 어려운 영역인데 시간 역시 만만치 않다. 시간을 정의내리는 것이 쉽지 않기 때문이다. 과학을 넘어 철학까지 이어지는 여정은 흥미롭고 신비한 여정이지만 그에 상응하는 고통도 수반한다. 누구도 시간을 흔쾌히 정의내리지 못한다. 아인슈타인의 시공간이 하나라는 개념이 더해지면 더욱 그렇다.

문제는 인과는 정의만 쉽지 검증이 어렵다. 이 두 난해한 과제가 만나 시계열 분석은 물론 인과추론까지 접목되어 통계학에서 그간 애용된 이중차분법과 같은 모델이 만나니 왠만한 내공의 독자가 아니면 이 파트를 속시원히 설명하긴 어려울 듯 하다.

마지막 5부에서는 불연속 설계나 스위치 백 실험들이 등장하고 추가로 학습해 볼만한 주제들이 등장한다.

저자는 이 책을 인과추론의 입문서 정도로 소개했지만 안에 담긴 내용은 결코 입문서 수준이 아님에 유의하길 바란다. Python 예제들은 직관을 도출하거나 난해한 통계 검증 기법을 시각화 시켜주는데 도움을 주지만 인과추론을 연역적으로 기술하는 도구는 아니다. 어디까지나 보조장치로 활용되기에 Python으로 인과추론을 이해하는 구성이라 생각하면 안될 것 같다.

그보다는 머신러닌 진영의 기법이나 특히 통계학의 수학을 기반으로 한 연역 기법이 많이 활용되고 있어 Python과 같은 프로그래밍 스킬은 물론 통계학이나 수학적 지식의 베이스가 탄탄한 독자가 읽는 것이 이해에 무리가 없을거라 생각한다.

개인적으로 인과추론은 향후 AGI에의 도달을 위해 해결해야 할 가장 큰 장애물 중 하나라고 생각한다. 현 시점 묵과할 주제가 아니라는 말이다.

게다가 인과추론은 신생 학문이고 참조할 만한 레퍼런스가 너무 적다. 그런 의미에서 현 시점 이 책이 가지는 가치는 상당할 것으로 평할 수 있을 것이다. 한 단계 고차원적인 AI 기법의 하나이자 보다 정확한 진실을 향해 다가가는데 활용할 수 있는 도구로써 인과추론에 관심있는 독자들에게 본 도서의 일독을 권하는 바이다.

• 책소개 - 실무로 통하는 인과추론 with 파이썬

"연관관계는 인과관계가 아니다." 는 말은 맞지만, 연관관계는 때로는 인과관계가 될 수도 있다.

통계학을 공부한 사람이면,  '연관관계는 인과관계가 아니다.'를 배운 적이 있을 것이다. 그럼에도 불구하고, 사람들은 연관관계를 통해 인과관계를 추론하게 된다. 이 책에서는 주식 투자자가 주가가 급등하기 직전에 매수했거나 폭락하기 전에 매도 했던 경험을 예시로 들어, 시장 타이밍을 맞출 수 있다고 착각하는 경우가 있다고 말한다. 많은 사람들은 자기 직관이 불규칙한 주가의 움직임과 인과적으로 연결되어 있다고 생각하면서, 잘못된 믿음을 더 위험한 베팅으로 이끌고 결국에는 투자자산을 잃게 된다. 



즉, 연관관계는 2개의 수치와 확률변수가 같이 움직이는 것이며, 인과관계는 한 변수의 변화가 다른 변수의 변화를 일으키는 것을 의미한다. 예를 들어, 한 국가의 노벨상 수상자 수를 1인당 초콜릿 소비량과 연관시킬 수 있고, 두 변수가 같이 움직일 수 있지만 한 변수가 다른 변수의 원인이라고 생각하는 것은 어리석다는 것이다. 이 말에서 이책에서 말하는 인과 추론이 무엇인지, 연관관계와의 차이가 무엇일지 이해할 수 있었다. 






  인과 추론에서 시작해, 머신러닝, 연관관계와 인과관계의 차이, 인과추론의 근본적인 문제, 인과 모델까지 스토리를 통한 설명이 되어 있어서, 통계학을 아예 모르는 사람이라도 책을 술술 읽으면서 '인과추론'에 대해 깊이있게 배워갈 수 있을 것이다. 특히, 인과추론을 학습할 때, 시뮬레이션 데이터를 통해 학습하는 것이 좋은데, 이는 아래와 같은 이유 때문이다. 

이 책에서는 고객 데이터를 통해 인과 효과를 추정하는 과정을 통해, 이메일을 받지 않은 그룹, 긴 이메일과 짧은 이메일을 받은 그룹간의 전환율을 나타내어, 어떤 이메일을 보냈을 때 더 효과적인지 분석하는 과정을 보여준다. 실제로 마케팅에서도 이런 방법이 자주 사용되는 것으로 알고 있는데, 가설을 설정하고 실험을 하는 것을 자주 해볼 수록 도움이 될 것이다. 





각 그룹을 평가하는 다양한 방법 중에서 간단하게 실험 대상 집단 사이의 정규화 차이를 계산해서 평가하는 방법을 택하는데, 공식이 이해되지 않아도 걱정하지 말라는 말과 함께, 결과표를 어떻게 해석해야 제대로 추론을 할 수 있는지 알려준다. 


설명 속에 다양한 통계학의 원리들이 자연스럽게 녹아 있어서, 이 책을 읽기 위해 통게학을 따로 공부하지는 않아도 될 것이다. 수학적 공식이 이해가 되지 않는 경우도 있는데, 그림이나 도표 등을 통해 직관적으로 이해할 수 있도록 되어있었다. 

실무로 통하는 인과추론 with 파이썬(2024, 한빛미디어)

https://www.yes24.com/Product/Goods/125196916

책 소개

저자 : 마테우스 파쿠레( Matheus Facure )

제목 : 실무로 통하는 인과추론 with 파이썬

번역 : 신진수, 가짜연구소 인과추론팀

출판사 : 한빛미디어

출간 연도 : 2024. 03.

원문 제목 : Causal Inference in Python

페이지 : 총 464쪽

 빅데이터 시대, 데이터 분석과 머신러닝, 딥러닝이 더욱 고도화 되면서 '알고리즘' 이후의 요인들이 화두로 떠오르고 있다. 인과추론은 연관관계로부터 인과관계를 추론하여 언제, 왜 서로 다른지 이해하는 과학으로 '현실 이해'를 목적으로 하는 과학으로써, '원인과 결과의 관계를 알아야 원인에 개입하여 원하는 결과를 가져올 수 있다.'를 토대로 개입의 영향을 분석한다. 인과추론으로 데이터 분석을 통한 의사결정에 실질적으로 기여하는 방법을 알아가보자.

책의 구성

5개의 파트, 세부 12장으로 구성된 책은, 인과추론의 기본 개념을 시작으로 인과관계와 상관관계를 구분하는 데 중요한 선형회귀분석과 성향점수 가중치를, 이후 인과추론에 시간 차원이 추가된 상황을, 마지막으로 램덤화가 어려운 상황에서 활용 가능한 다양한 실험 설계 방법을 설명한다.

책의 장점

 인과추론을 설명하며 필요한 이론적 내용에 대해 수학적 수식과 더불어 이미지와 간단한 예시를 통해 독자의 이해도를 높이는 구성이 책의 장점이다. 시각적 이해를 돕기 위한 다양한 그래프의 사용과 핵심 키워드의 인포그래픽은 딱딱하고 낯선 주제에 접근하기 편하도록 독자를 배려한다. 특히 3부 - 6장에서 다루는 이질적 처치효과는 앞서 언급하는 '개입'이 사람마다 어떻게 다른 영향을 미치는지 설명하는데, '개인화'를 인과 추론으로 설명하는 방법을 알려준다. 실험 대상 i 마다 처치효과 Ti가 다를 수 있다는 것을 관측 가능한 실험 대상의 특성으로 한정하여 조건부 평균 처치효과(CATE)로 설명하는 부분이, 이후 실무에서 적용 가능하도록 시나리오화 되어있어 인상 깊다.

 또한 책의 4부와 5부는 같은 문제의 다른 접근법을 설명한다. 다양한 비즈니스 상황 환경에서 해당 데이터의 수집이 어려울 경우를 대비하여 수립 할 수 있는 대안적 실험 설계 방법을 안내하는데, 실제 업무에서 차용할 수 있는 상황 속 조건을 고려하여 독자들에게 안내하는 점이 눈에 띈다. 

마치며

 빠른 기술 발전 속에서 현대의 비즈니스는 더 다양하고 복잡해지고 있다. 이러한 환경 속에서 문제의 본질적인 '인과'를 파악하는 능력은 더욱 중요해질것이고, 이를 활용하는 '인과추론' 역시 향후 비즈니스를 지탱하는 핵심 요소로 작용할 것으로 보인다. 데이터 분석이 더 고도화 되고 데이터가 삶에 더 가까워지는 오늘날, 원인을 핸들링하여 결과를 변화시킬 수 있는 '인과추론'이 궁금하다면, 이번 한빛미디어의 신작 ' 실무로 통하는 인과추론 with 파이썬'으로 데이터 분석 이후를 준비하는 것을 추천해본다.

  "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

머신러닝 모델을 학습하기 위해 많은 변수를 수집할 때마다 생각합니다. 이거 진짜 결과에 영향 주는 변수 맞아..? 일단 활용 가능한 것들 다 넣어보는 거 아녀..? 사실 하나하나의 변수가 결과와 직접적인 관련이 없어 보이더라도 다른 변수들과의 상호 작용으로 인해 결과와 연관이 있다고 보여질 수 있습니다.

모델 성능이나 연관관계 파악 여부에만 관심이 있다면 사실 크게 문제되는 상황이 아닐 수 있겠습니다. 다만 연관성 여부를 넘어 ’만약‘ 값이 이렇게 바뀐다면 결과는 어떻게 될까와 같은 인과관계를 파악하고 싶다면 다른 방법이 필요합니다. 일부 변수들을 통제하면서 특정 변수의 효과를 확인하고 싶을 때, 원인과 결과 변수를 해석하는 데에 좀 더 관심을 두고 싶을 때는 인과추론 Causal Inference 이 필요하다고 합니다.

좋은 성능을 보이는 모델을 만들고 활용하는 과정을 만드는 일 이상으로, 데이터를 좀 더 자세하게 들여다보는 과정을 배워보고자 이번 달에는 이 책을 선정하였습니다. 나중에 제품, 서비스에 대한 고객 데이터를 들여다 볼 일이 생긴다면 이 책의 내용을 적용해보고 싶네요.

도서의 제일 큰 장점은 중간중간 첨부된 내용과 관련된 실제 사례라고 생각합니다. 제목에서 ‘실무’를 강조한 것에 걸맞은 구성이더군요. 도서에서 설명한 개념, 모델이 실제로 어떤 실험, 관찰 등에서 어떻게 적용되고 해석되는지를 사례로 제공해주는데 이게 이 도서의 큰 장점인 것 같습니다.

수학적인 개념들은 수식이 이해되어도 그래서 어쩌라는건지 이게 어떤 식으로 ‘실제 세계에서’ 활용된다는 건지 감이 잡히지 않을 때가 종종 있는데요. 이런 사례들을 제공해줌으로써 독자들의 이해를 돕고 있어서 좋았습니다. 사례와 유사한 도메인에서 작업하는 분석가들에게 인사이트를 주는 큰 역할을 할 것 같아요.

도서명에 ’with 파이썬‘을 포함하는 만큼 책에서도 어떻게 인과추론 개념을 파이썬 코드로 어떻게 적용할 수 있는지 제공하고 있습니다. 내용 이해가 빠삭하게 되셨다면 실무에서 바로 적용할 수 있을 것 같더라구요. 물론 당연히 파이썬의 판다스, 넘파이, 그래프를 만드는 라이브러리들 등 데이터를 다루는 패키지들을 알고 다룰 줄 알아야 더 빠르게 익힐 수 있겠습니다. 인과추론 개념만 이해하고 넘어가기엔 코드 자료도 알차게 들어있으니 꼭 직접 돌려보면 더 좋을 것 같습니다.

그리고 통계 개념에 친숙하면 읽기에 더 좋을 것 같습니다. 인과추론에서 확률, 조건부 확률, 분포, 기댓값, 분산, 표본, 실험군과 대조군 등등 기본적인 통계 개념들을 확장하며 어떻게 활용하고 있는지 보여주고 있어서요.(1부에서 기초 개념은 짚어줍니다!) 이전 장의 내용들이 계속 연결되며 개념을 확장하기 때문에, 앞의 내용을 이해하기 어렵다면 반복하며 익힌 후에 뒷 내용을 읽는 것이 좋을 것 같습니다. 

한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다.