|
아마도 1701년에 태어났을 것으로 추정되는 비국교파 목사 토머스 베이즈는 취미로 수학을 하던 ‘신사과학자’였다. 그는 1760년에 죽었는데, 죽기 전 논문 하나를 작성하고 친구인 리처드 프라이스에게 남긴다. 프라이스는 2년후 영국왕립학회의 회보에 게재했는데, 논문의 제목은 <기회 학설에서 나타나는 한 가지 문제의 해법에 관한 소론>이었다. 이 논문은 한 동안 주목을 받지 못했지만, 점점 그 가치를 인정하는 사람이 늘면서, 동시에 이를 비판하는 사람이 늘면서 관심을 가지게 되었다. 바로 ‘베이즈주의’라고 하는 것이다.
이제는 익숙해졌지만 95% 민감도의 암 검진 결과에 대한 해석은 늘 신기하다. 이런 류의 문제를 책 같은 데서 만나면 거의 틀리지 않고 풀어내긴 하지만, 그냥 생활하는 중에는 의식 없이 95% 민감도의 암 검진에서 양성 반응이 나오면 그 사람이 암에 걸렸을 확률을 95%로, 혹은 그보다 조금만 낮게 생각하는 경우가 없지 않다. 이 계산을 정확히 하는 데 바로 베이즈주의식의 방법론이 필요하다.
베이즈주의는 피셔와 심프슨으로 대표되면서 발달한 ‘빈도주의’의 한계를 비집고 들어서왔다. 톰 치버스는 빈도주의와 베이즈주의의 대립을 흥미진진한 드라마처럼 서술하고 있는데, 우리가 중고등학교에서 배우는 확률은 바로 빈도주의에 입각해 있다. 그리고 내가 논문에 쓰고 있는 통계적 유의성을 검증하는 방법론도 빈도주의다. 그래서 연구 결과를 두고는 늘 p값이 0.05보다 작은지, 큰지에 극도로 예민해져서 보기도 한다. 그러나 이 책을 보면 나 역시도 이 p값의 의미에 대해서 매우 오해하고 있었다는 것을 알 수 있다. p값이란 가설이 옳다고 할 때 현재의 데이터가 나올 확률을 말하는 것이다. p값이 0.05보다 작다고 하는 것은, 내가 원하는(?) 결과를 부정한 가설에 의해서 현재의 데이터가 나올 확률이 1/20보다 작다는 얘기다. 그만큼 나오기 희박(?)하니 나의 데이터는 특별한 데이터라는 결론을 내릴 수 있다는 것이다. 이 기준이 느슨한 것은 둘째 치고, 이 값의 의미를 잘못 해석하는 경우가 많다는 것을 배웠다. 즉, 이 방법을 쓰는 것은 ‘가설이 틀리다면 수집된 것과 같은 데이터가 나올 가능성’을 따지는 것이라는 얘기다. 우리가 데이터를 제대로 해석하기 위해서는 ‘수집된 데이터에 비추어 가설이 옳을 가능성’을 따져야 함에도 그렇다. 뒤의 얘기가 바로 베이즈주의에서 따지는 것이다.
베이즈주의는 사전 확률을 가정한 후, 데이터에 따라서 확률을 보정해가는 방식을 취한다. 사전 확률이란 이미 상당한 수준의 확실성으로 알고 있을 수도 있지만, 전혀 모를 수도 있다. 전혀 모르는 경우에도 가정을 통해서 취한 다음 데이터를 추가해가면서 확률의 범위를 줄여가는 방식을 취할 수 있는 것이 베이즈주의다. 이렇게 보면 우리가 일상생활에서 거의 일상적으로 쓰고 있는 방식이 바로 베이즈주의라는 것을 알 수 있다.
톰 치버스는 이러한 내용을, 아니 이보다 훨씬 깊고 풍성한 내용을 알기 쉬운 예를 동원해가며, 알기 위한 언어를 통해서, 또 상당한 유머를 섞어가며 전개해나가고 있다. 베이주주의의 역사(빈도주의와의 대립을 포함하여), 베이즈주의가 과학에 이바지할 수 있는 점, 베이즈주의가 세상 속에서 어떤 의미를 지니고 있는지, 심지어 인식론과 뇌 모델과의 관련성까지 베이즈주의의 기본을 익히고, 여기에 심취할 수 있는 바탕을 마련해주고 있다. 이 책을 읽고는 누구도 베이즈주의자가 되지 않을 수 없을 정도다. 물론 나는 논문을 쓰면서 여전히 p값을 구하며 전전긍긍할 가능성이 높지만, 그래도 베이즈주의적 사고 방식은 조금은 더 많이 갖추어 나갈 수 있지 않을까 싶다. 모른다. 어떤 논문은 베이즈주의의 방식으로 쓰게 될지.
|
|
톰 치버스의 '모든 것은 예측 가능하다'는 불확실성 속에서 확률을 계산하는 베이즈적 사고의 중요성을 설득력 있게 제시합니다. 예측의 과학을 쉽고 유쾌하게 파헤치며, 일상 속 합리적인 의사결정 방식을 배울 수 있는 책입니다. 무언가를 이해하고 결정하는데 도움이 될 것 같습니다. |
| 세상과 사람을 좀 더 논리적으로 이해하고 싶은 마음 때문이야. 운명이나 감에 의존하던 생각에서 벗어나서, 조금은 더 냉정하게 세상을 바라보게 만들어주는 책이라는 생각이 들었기 때문. 나같이 쓸데없이 감성적이 사람에겐 어쩌면 차갑게 느껴질지라도 필요할 수도. |
| 과학 저널리스트 톰 치버스가 분석하는 슈퍼 예측가들의 사고법. 날씨부터 선거, 주가까지 정확한 예측을 하는 사람들의 공통점은 확률적 사고와 끊임없는 업데이트였다. 단순한 직관이 아닌 체계적 방법론으로 불확실성을 다루는 법을 배울 수 있다. 예측 실험 사례들이 흥미진진하고, 일상에서도 적용 가능한 통찰이 많다. 더 나은 판단력을 키우고 싶은 모든 이에게 추천하는 책. |
|
『모든 것은 예측 가능하다』는 18세기 수학자 토머스 베이즈가 발견한 '베이즈 정리'라는 강력한 도구를 통해 세상을 이해하는 새로운 관점을 제시하는 책입니다. 법률, 의료, 뇌과학, 인공지능 등 다양한 분야에 관심을 가진 저에게 이 책은 단순한 교양서를 넘어, 각 학문을 관통하는 깊이 있는 통찰을 제공했습니다. 불확실성 속에서 최선의 답을 찾는 지혜, 베이즈 정리 이 책의 핵심인 베이즈 정리는 새로운 정보를 바탕으로 기존의 믿음(확률)을 합리적으로 수정해나가는 수학적 원리입니다. 저는 평소 법률 시스템의 판결이나 의료 현장의 진단 과정에 많은 관심을 가져왔습니다. 두 분야 모두 제한된 정보와 불확실성 속에서 중대한 결정을 내려야 한다는 공통점이 있기 때문입니다. 이 책은 바로 이 지점에서 베이즈 정리의 진가를 명확히 보여줍니다. 예를 들어, 책에서 소개된 유방암 진단 사례는 매우 인상적이었습니다. 특정 검사에서 '양성' 판정이 나왔을 때, 그 사람이 실제로 암에 걸렸을 확률은 얼마일까요? 대부분의 사람들은 검사의 정확도만을 생각하지만, 베이즈 정리는 해당 질병의 유병률이라는 '사전 정보'를 결합하여 훨씬 더 정확하고 합리적인 확률을 계산해냅니다. 이는 판사가 피고인의 유무죄를 판단할 때, 제시된 증거의 신뢰도뿐만 아니라 사건의 맥락과 배경까지 고려하는 과정과도 맞닿아 있습니다. 이처럼 베이즈적 사고는 우리가 데이터를 어떻게 해석하고 받아들여야 하는지에 대한 중요한 가이드라인을 제시합니다. 뇌와 인공지능, 베이즈적 예측 기계 무엇보다 저의 지적 호기심을 가장 크게 자극한 부분은 우리의 '뇌' 역시 베이즈적으로 작동하는 예측 기계라는 설명이었습니다. 우리의 뇌는 과거의 경험과 지식을 바탕으로 끊임없이 세상을 예측하고, 감각을 통해 들어온 새로운 정보와 예측이 일치하지 않을 때 '오류'를 수정하며 세상을 배워나간다는 것입니다. 이는 착시 현상부터 정신 질환에 이르기까지 다양한 뇌의 작동 방식을 설명하는 강력한 틀을 제공합니다. 이러한 관점은 인공지능, 특히 머신러닝 분야를 공부하는 저에게도 큰 영감을 주었습니다. 스팸 메일 필터가 '스팸일 확률'을 계속 업데이트하며 정확도를 높여가는 원리부터, 최신 인공지능이 데이터를 기반으로 미래를 예측하고 스스로 학습하는 과정 모두 베이즈 정리의 원리를 따르고 있기 때문입니다. 이 책을 통해 저는 뇌과학과 인공지능이 '베이즈적 추론'이라는 하나의 원리로 연결될 수 있다는 사실을 깨닫고, 두 분야를 더욱 통합적인 시각으로 바라볼 수 있게 되었습니다. 결론적으로, 『모든 것은 예측 가능하다』는 불확실성으로 가득한 세상을 살아가는 우리에게 '어떻게 더 나은 판단을 내릴 수 있는가'에 대한 명쾌한 답을 제시하는 책입니다. 복잡한 수식 없이도 일상적인 사례를 통해 베이즈 정리의 핵심을 이해하기 쉽게 풀어내고 있어, 저처럼 법률, 의료, 뇌과학, 인공지능 등 여러 분야에 걸쳐 지적 탐구를 즐기는 분이라면 분명 기대 이상의 통찰과 즐거움을 얻으실 수 있을 것이라 확신합니다. |
| 예측에 있어서 베이즈식 사고가 매우 중요하다는 건 아무리 강조해도 지나치지 않다. 베이즈정리에 대해 본격적으로 다룬 책이 거의 없다시피 했는데 매우 잘 정리된 좋은 책이라고 생각된다. 수학적 사고력을 기르고 싶은 분들이라면 일독을 권하고 싶다. |
|
인공지능이 본격 화두가 되면서 근저에 있는 베이즈 정리에 대해 이해하고 싶어 구입했다. 수학을 잘 모르는 초보자도 편하고 쉽게 읽을 수 있다. 책 사이즈도 크지 않고 페이지 용량도 적당하다. 종이 품질은 중간. 기본적으로 저자의 문구와 역자의 번역 모두 잘 되어 있어 가독성이 좋은 편이다. 추천한다. |
|
『모든 것은 예측 가능하다』는 베이즈 정리를 중심으로 미래의 불확실성을 이해하고 관리하는 방법을 소개하는 책이다. 저자는 통계학의 강력한 도구인 베이즈 정리를 통해 인간의 판단과 의사결정 과정에서 자주 발생하는 오류를 명확히 설명한다. 책은 베이즈 정리가 단순히 이론적인 개념에 머물지 않고, 현실의 다양한 분야에서 어떻게 활용되고 있는지를 풍부한 사례와 함께 구체적으로 제시한다. 저자는 의학 진단, 금융 시장 예측, 선거 결과 전망 등 실생활에서 접할 수 있는 다양한 사례를 통해 베이즈 정리의 실질적인 효용성을 설득력 있게 전달한다. 특히, 베이즈 정리를 이용하여 직관이나 편견에 의존한 결정이 얼마나 잘못된 결과를 초래할 수 있는지를 여러 사례로 보여주면서, 독자들이 보다 객관적이고 정확한 판단을 내릴 수 있도록 안내한다. 이 책을 통해 막연하게만 생각했던 불확실한 미래에 대해 좀 더 논리적이고 체계적으로 접근할 수 있었다. 특히 베이즈 정리의 명쾌한 설명과 다양한 적용 사례들이 매우 인상 깊었으며, 직관적이고 감정적인 결정을 넘어 합리적이고 과학적인 사고의 중요성을 다시 한번 깨닫게 되었다. 개인적으로 베이즈 정리를 처음 접하거나 이미 알고 있더라도 실제 삶에 구체적으로 적용하고 싶은 독자들에게 매우 유익한 책이라고 생각한다. 한줄평: 베이즈 정리가 궁금하다면 꼭 읽어봐야 할 책. |
| 모든 것을 설명해주는 이론이라고는 할 수 없을 것이다. 하지만 '거의' 모든 것을 설명해 준다고는 할 수 있다. 일단 베이즈적 시각으로 세상을 보기 시작하면 그야말로 모든 곳에서 베이즈 정리가 보일 것이다. 이 책의 목적은 독자의 눈을 그렇게 틔워주는 것이다. |
|
베이즈 정리를 통해 사전 확률(경험에 의해 얻은 정보)가 미래의 정보를 믿음의 정도와 새로운 정보를 생산하거나 미래를 예측하는데 도움이 된다는 책의 내용. 조금 어렵다는 느낌이지만 쉬운 예제로 설명하고 있었고, 개념을 집고 넘어가는 것으로 책 읽기를 마무리했습니다. 수학적 확율 설명이 많아 숫자에 약한 저에게는 계산이 조금 어렵지만 개념 파악은 쉽게 이해할 수 있어 좋았습니다. 비선형 데이터 분석시(표본과 실제 관계를 모델로 분석한 결과) 과소적합, 최적합, 과대적합이 발생할 수 있다. 과소적합은 비선형 데이터를 선형데이터로 분석한 경우, 최적합은 비선형 데이터 값을 근소값으로 분석한 경우, 과대적합은 최적합에서 조금 벗어난 결과값을 구한 경우 -p274 휴리스틱(Heuristics)은 시간이나 정보가 부족해 체계적이고 합리적인 판단을 내리기 어려울 때, 경험이나 직관을 바탕으로 빠르게 어림짐작하여 문제를 해결하는 방식을 뜻합니다. '찾아내다', '발견하다'라는 뜻의 그리스어 'heuriskein'에서 유래했습니다. 더미의 역설에서 ‘더미가 아닌 상태‘를 정의할 경우 주관적 확률 평가이긴 하지만 베이즈 추론으로 ’이것은 모래 더미다’라는 가설 또는 정의를 확률적으로 부여할 수 있다. 경계의 모호성을 수치로 보정 할 수 있게 된다. -p325 참고 헬름홀츠 연구에 따르면 신경 신호의 이동 속도는 초속 약50m, 즉 시속 180km 정도라고한다. 자동차 시속180km 이상 이동하면 인간이 감지하고 반응하는 시간을 초과하므로 위험할 것이란 생각이 들었다. 칼만 필터는 여러 측정값을 사용해 알고자 하는 미지의 양을 추정하고, 그 추정을 사용해 예측을 하는 알고리즘이다. 예를 들면 휴대전화의 GPS는 여러 위성에서 신 호를 받아 자신의 위치를 추정하고, 그 추정값을 사용해 다음 신호가 언제 도착할지를 예측한다. 이 과정이 꼬리를 물고 반 복된다. 사전확률, 데이터, 사후확률을 차례로 얻고, 사후확률 이 다시 사전확률로 쓰인다. -p348 우리의 예측이 사전확률이고, 감각 데이터가 가능도이며, 갱신 된 예측이 사후 확률이다. 그리고 중요한 점이 있다. 우리가 경험하는 것은 감각에서 온 데이터가 아니라, 우리가 내린 예측이 다. 물론 감각 정보에 의해 끊임없이 갱신되는 예측이지만, 우리는 데이터가 아니라 예측 속에 산다. "우리가 경험하는 것은 한마디로 말해 감각 데이터의 원인에 대한 베이즈 추정"이라고 신경과학자 아닐 세스는 말한다. ‘우리가 하는 의식 경험이란 기본적으로 우리가 가진 베이즈 사전확률이다’라고까지 말하는 건 너무 많이 나간 것이 아닐까 생각했다. 그런데 세스와 프리스 두 사람 모두 기꺼이 그 말에 동의했다. “의식은 우리가 품은 세상의 모델이지, 세상이 아니다”라고 프리스는 말한다. 세스는 ”우리 지각의 내용은 곧 우리가 벌이는 하향식 예측의 내용이다“라고 말한다. 그렇다면 의식은 분명히 베이즈적이다. -p349 글귀 ————— 과학자들은 머리를 맞대고 앉아 포커에서 스트레이트 플러시가 나올 확률을 계산하지 않는다. 그런 건 간단한 계산이어서, 카드 한 벌이 몇 장인지만 알면 된다. 고등학교 수학 지식 정도만 있으면 풀 수 있다. 주사위를 스무 번 굴렸을 때 6이 다섯 번 이상 나올 확률 같은 것을 고민하지 도 않는다. 그건 파스칼 삼각형으로 바로 구할 수 있다. 과학자들이 궁리하는 문제는, 주어진 데이터에 비추어 가설에 대해 어떤 판단을 내려야 하느냐 하는 것이다. -p65 베이즈는 자신의 논문 〈기회 학설에서 나타나는 한 가지 문 제의 해법에 관한 소론〉에서 한마디로 추론확률을 구하기 위한 전제조건이 무엇인지 밝혔다. (추론확률은 '가설이 옳을 때 이런 데이터가 나올 확률'이 아니라 '이런 데이터가 나왔을 때 가설이 옳을 확률'임을 상기하자.) 추론확률을 제대로 구하려면 내가 가설이 옳을 가능성이 애초에 얼마라고 생각했느냐를 감안해야 한다는 이야기였다. 자신의 주관적 믿음을 고려하지 않 으면 안 된다는 것. -p85 비가 오면 80퍼센트의 비율로 보도가 젖는다고 하자. 비가 오지 않아도 보도가 젖을 때가 있는데, 가령 스프링 클러가 20퍼센트의 비율로 작동한다고 하자. 그렇다면 '비가 오지 않았다'라는 가설이 옳을 때에 비해 ‘비가 왔다’라는 가설이 옳을 때 보도가 젖어 있을 가능성이 네 배 높다. 그 값이 바로 가능도비다. 가능도비는 믿음을 얼마나 갱신해야 하는지 말해준다. -p234 어느 날 보도가 젖어 있는 것이 눈에 띈다. '간밤에 비가 왔다'는 가설하에서 보도가 젖을 가능성이 '간밤에 비가 오지 않았다'는 가설하에서 보도가 젖을 가능성보다 네 배 높다는 사실은 앞에서 논한 대로다. 그러나 이곳은 비가 올 사전확률이 워낙 낮아서 사후확률이 여전히 미미하다. 약 1억 7000만분의 1, 즉 0.000000006에 불과하다. 그런데 길을 따라 걷다 보니 옆집 앞의 보도도 젖어 있다. 방금 얻은 사후확률을 사전확률로 삼아 같은 계산을 반복하면, 이제 확률은 0.000000024, 즉 4200만분의 1이 된다. 여전히 비가 왔을 가능성은 희박하다. 필시 내 스프링클러와 옆집의 스 프링클러가 동시에 작동했을 것이다. 또 한 집을 지나고, 또 한 집을 지나는데 두 집 다 보도가 젖어 있다. 이제 확률은 0.000000384, 즉 250만분의 1 정도로 올라간다. 여전히 압도적으로 가능성이 높은 가설은 '모든 집의 스프링클러가 공교롭게 동시에 작동했다'는 것이지만, 이제는 ‘비가 왔다'는 가설도 처음만큼 정신 나간 소리는 아니다. 다른 집 열여섯 채를 더 지나갔는데 모두 보도가 젖어 있다 면, 간밤에 비가 왔을 가능성은 이제 약 70퍼센트에 이른다. 극단적인 사전확률이라 해도 뒤집는 데 그렇게 굉장히 많은 증거 가 필요하지는 않다는 사실을 알 수 있다. 반면 내가 설정한 사전확률이 0이라고 해보자, 이를 식에 대 입하면 사후확률도 0이 된다. 어떤 증거를 발견하더라도 0에 무엇을 곱하면 0이다. 설령 보도가 젖어 있는 집 1,000채를 지나간다 해도, 비가 왔을 가능성에 희박한 확률조차 부여하지 않게 된다. -p238 유사한 철학적 난제로 더미의 역설이란 것이 있다. 모래 더미가 있다고 하자. 모래 알갱이 하나를 뺀다. 여전히 모래 더미일 것이다. 알갱이를 또 하나 뺀다. 그래도 여전히 모래 더미일 것 이다. 이렇게 모래 알갱이를 하나씩 빼다 보면 결국 알갱이 하나만 남게 된다. 이제는 모래 더미가 아닌 게 명백하다. 그렇다면 어느 순간 모래 더미가 아니게 되었을까? 어느 알갱이로 인 해 더미'에서 '더미가 아닌 상태'로 바뀌었을까? - p325 우리가 신뢰해야 할 믿음은, 세상을 예측하는 데 도움이 되고 새로 들어오는 정보에 가장 잘 부합하며 예측오차를 피할 수 있는 믿음이다. 한마디로, '참일 가능성이 가장 높은 믿음이다. -p326 "의식은 우리가 품은 세상의 모델이지, 세상이 아니 다"라고 프리스는 말한다. 세스는 "우리 지각의 내용은 곧 우리가 벌이는 하향식 예측의 내용이다"라고 말한다. 그렇다면 의식은 분명히 베이즈적이다. -p349 |