이전

리뷰 (35)

한줄평
평점 분포
  • 리뷰 총점10 49%
  • 리뷰 총점8 43%
  • 리뷰 총점6 9%
  • 리뷰 총점4 0%
  • 리뷰 총점2 0%
연령대별 평균 점수
  • 10대 0.0
  • 20대 0.0
  • 30대 9.0
  • 40대 8.0
  • 50대 9.0

포토/동영상 (12)

리뷰 총점 종이책
통계 속 숫자의 거짓말
"통계 속 숫자의 거짓말" 내용보기
통계, 숫자... 사실 이런 단어만 들어도 골머리가 지끈거리는게 사실이다. 그런데 현대를 살아가려면 통계에서 자유로울 수 없는 것 같다. 오호~! 그런데 통계 속 숫자의 거짓말이라니 흥미로울 수 밖에 없다.       통계의 중요성은 설명이 필요 없을 정도이고 통계를 활용하는 사례는 다양한 분야에서 늘어나고 있는 것도 사실이다. 정부에서는 정책 기획단계에서부터 통계에 대
"통계 속 숫자의 거짓말" 내용보기

통계, 숫자...

사실 이런 단어만 들어도 골머리가 지끈거리는게 사실이다. 그런데 현대를 살아가려면 통계에서 자유로울 수 없는 것 같다.

오호~! 그런데 통계 속 숫자의 거짓말이라니 흥미로울 수 밖에 없다.

 

 

 

통계의 중요성은 설명이 필요 없을 정도이고 통계를 활용하는 사례는 다양한 분야에서 늘어나고 있는 것도 사실이다. 정부에서는 정책 기획단계에서부터 통계에 대한 의존도가 높아지고, 기업들의 마케팅 활동에도 통계는 없어서는 안 되는 중요성을 띄고 있다.

책에서는 다양한 사례를 통해 통계를 보여주는데 조사된 수치 한 두가지를 바꿈으로 결과가 어떻게 조작되고 달라지는 지를 보여준다.

이런 결과는 당연히 자신에게 유리한 쪽으로 활용된다는 것은 설명이 필요 없을 것이다.

 

 

 

고령화에 대비해 연금에 가입해야 한다는 보험사의 말 많이 들어 봤을 것이다. 그럴때마다 여지없이 등장하는 것이 통계 수치와 그래프 등인데 이는 무척 신빙성있게 다가온다. 물론 그것이 결과로 나타난 것이 아니라 예측한 것이라는 사실을 간과한체 말이다. 그들이 제시한 연금으로 받게 될 금액에 속으로 충분히 내 노후는 보장되겠구나 생각하며 말이다. 그런데 이것은 단지 예측한 수치 일 뿐이라는 사실에 주목할 필요가 있다.

또, 선거철이면 여지없이 등장하는 것이 지지율이다. 신뢰할 수 있는 기관에서 조사한 지지율이라고 강조하지만 이 또한 허상이라는 것을 우리는 이제 이미 알 만큼은 알고 있다. 그럼에도 수치와 그래프를 동원한 통계표 앞에서는 반발의 목소리가 작아 지는 것 같다.

실업률, 취업률 등 통계로 나타내 보여지는 것들은 참으로 많기만 하다.

 

 

 

책에서는 우리가 알고 있던 숫자의 실체에 대해 조목조목 반박하고 있는데 숫자나 그래프는 말이나 글과 달리 기억하기에 쉽고 더군다나  이를 바꾸기도 쉽다는 것을 기억할 필요가 있을 것 같다. 혹시 잘못 된 통계로 문제가 될 시에도 얼마든지 방어가 가능하며 말이나 글에비해 더 신뢰받고 있는 것도 사실이니 더 많이 활용되는게 아닌가 싶다. 통계라는 것이 필요에 따라 자기편에 유리한 쪽으로 얼마든지 각색이

가능하다는 것도 기억해야 될 것 같다.

 

 

 

참으로 믿을게 없는 세상에 살고 있다는 생각이 든다.

우리가 신뢰하는 기관에서 한 조사라는 말에 지금까지 속아 왔다는 생각을 하면 더 그렇다. 속수무책으로 그저 당하기만 해 왔다고 생각 하면 말이다. 보여지는 것이 전부가 아니라는 것을 기억하고 더이상 속지 않기위해 책에 소개된 통계를 대하는 기본 원칙을 숙지할 필요가 있을 것 같다.  보다 적극적으로 검토하고 확인하는 과정을 거쳐야 함은 물론이다.

이제 더 이상 거짓말에 속아 속수무책으로 당하기만 할 수는 없으니 말이다..

 

  



a*******4 2012.03.17. 신고 공감 1 댓글 1
리뷰 총점 종이책
통계 속 숫자의 거짓말
"통계 속 숫자의 거짓말" 내용보기
통계 속 숫자의 거짓말 게르트 보스바흐 · 엔스 위르겐 코르프 공저 작은책방 각종 공공기관이나 광고를 통해 수많은 통계와 접하게 되는 현실을 다시 살펴보면, 여러 방법으로 잘못된 정보를 제공하고 있다는 사실을 인식해야 한다고 주장한다. 모든 상황은 음이 있으면, 양이 있고, 장점이 있으면 단점이 있게 마련인데, 필요에 의해 장점만을 내세우고 단점은 감춘다든지(음양
"통계 속 숫자의 거짓말" 내용보기

통계 속 숫자의 거짓말

게르트 보스바흐 · 엔스 위르겐 코르프 공저

작은책방

각종 공공기관이나 광고를 통해 수많은 통계와 접하게 되는 현실을 다시 살펴보면, 여러 방법으로 잘못된 정보를 제공하고 있다는 사실을 인식해야 한다고 주장한다. 모든 상황은 음이 있으면, 양이 있고, 장점이 있으면 단점이 있게 마련인데, 필요에 의해 장점만을 내세우고 단점은 감춘다든지(음양이론), 그림이나 그래픽을 제공할 때, 한 두가지 요소를 감추거나 바꿔주면, 받아들이는 사람에게 전혀 다른 시각으로 파악하도록 유도한다던지(그래픽의 거짓말), 원인과 결과를 절대적 수치와 상대적 수치의 차이를 제대로 설명하지 않고, 한 가지에게 포커스를 맞춰 설명한다든지, 백분율이 정확한 것 같지만, 기준을 어떻게 설정하느냐에 따라 전혀 다른 결과를 낳는다는 것을 숨긴다든지, 표본 추출 방식에 따른 오류를 밝히지 않고 일부의 상황을 마치 전체에 해당되는 상황인 것 처럼 둔갑시킨다든지, 선거 결과를 예측하는 과정에서도 편할 대로 조사하고 발표하는 거짓을 자행하기도 한다. 또한 장기적 예측 자체가 불가능 한 일인데도 적중률과 예측 기관의 상관관계를 무시하고 정확한 예측인 것처럼 과장하기도 한다.

숫자를 통한 통계자료를 제시하면 마치 상당히 정확한 자료를 바탕으로 결과를 낳은 것처럼 착각하게 되는데, 실제로는 현실과 동떨어진 말장난(?) 또는 숫자장난(?)일 뿐일 수도 있다.

요소 하나를 옮겨 놓음으로써, 전혀 다른 결과를 만들어내는 '윌-로저스 현상'을 그 예로 들 수도 있고.

통계를 계산한 기간을 늘리거나 줄이는 방법으로 거짓말을 할 수도 있고, 평균값이 아닌 것을 평균값인 것처럼 속일 수도 있으며, 상황자체를 조작하여 그 결과물을 속일 수도 있다(이산화탄소 배출량을 검사하는 경우나 자동차의 연비를 측정할 경우), 순위를 매기는 과정에서 발생하는 오류에 대해서는 모두 함구하고 마치 진정한 순위인 것처럼 오도하는 경우도 비일비재하다. 또한 '토이로' 논쟁으로 표현되는 체감 통계에 대해서도 설명하고 있다.

특이한 것은 인구수를 조사하는 경우에도 그 조사 목적이 무엇이냐에 따라서 전혀 다른 결과를 낳기도 한다. 즉, 단속을 목적으로 한 인구조사의 경우에는 실제 인구보다 훨씬 낮은 수치로 조사되고, 구호 물자를 배포하는 것이 그 목적인 경우는 실제 인구보다 훨씬 더 부풀려 진 수치를 조사하게 된다는 것이다.

또한 표본 집단이 누구냐에 따라 글 결과는 전혀 달라질 수 있다는 것이다. 따라서 통계자료를 조사할 목적에 따라 그 표본 집단 선정 방법도 차이를 두기 마련이다. 흔히 통계자료를 통한 조사가 상당히 정확하다고 착각하고 있지만, 이는 숫자를 통한 놀음에 불과하다는 생각이 든다. 12장부터는 앞으로의 미래를 대비하는 통계자료에 대한 허상에 대해 설명하고 있는데,

추세외삽법 : 실험치가 아닌 값을 그래프에서 추정하는 방법중하나입니다. 그래프의 변화를 하나의 추세(직선이나 곡선)으로 표현한후에, 실험하지 않은 다른 경우들의 값을 추정하는 것이다.
윌-로저스현상 : “오클라호마 출신 농부들이 일자리를 찾아 캘리포니아로 이주하는 바람에 오클라호마와 캘리포니아 주민 모두의 평균 지능지수가 높아졌다”는 영화배우가 한 말.

심슨의 역설 : 변수를 제대로 관리하지 못해 실제 관계와 상반된 관계가 나타나는 현상을‘심슨의 역설(Simpson's Paradox)'라고 한다.

등등에 대해서는 공부를 좀 더 할 필요가 있겠다.

앞으로는 통계자료를 대할 때, 무조건 신뢰하고 아하! 그렇구나 할 일이 아니라, 어떤 오류를 내재하고 있는 지 다시한 번 의심하고 되짚어볼 필요가 있다고 하겠다.

이 책에서 제시하는

통계를 대하는 15가지 원칙

1. 성급한 판단을 지양하고 침착한 태도를 유지한다.

2. 기존 자료들을 입수하여 현 상황과 비교한다.

3. 근거 자료를 요청한다.

4. 실제로 파악 가능한 수치들인지 검토해본다.

5. 예측의 정확도를 가늠해본다.

6. 어림잡아 계산해본다.

7. 개념의 정의를 따져본다.

8. 중요한 결정일 때에는 더욱 신중을 기한다.

9. 자료의 출처를 확인해본다.

10. 그래프의 x축과 y축, '착시효과' 등에 유의한다.

11. 그래프 뒤에 숨은 근거 자료들을 요청하고 검토한다.

12. 독창적인 아이디어를 동원한다.

13. 직접 검산해본다!

14. 용기내어 결단을 내린다.

15. 다섯 가지 '입버릇'에서 벗어나야 한다.

이 사항에 대해서는 숙지하면 좋겠다.

2012.3.15. 통계를 공부하고 난 두뽀사리~



i***2 2012.03.15. 신고 공감 1 댓글 0
리뷰 총점 종이책
통계 속 숫자의 거짓말
"통계 속 숫자의 거짓말" 내용보기
"2050년이면 우리나라 셋 중 하나는 65세 이상의 노인이 차지할 거래" "2050년이면 65세 이상의 노인이 전체 인구의 32.5%를 차지하게 된대"   이 두가지 말 중에 어니 것이 더 신뢰감을 줄 수 있느냐는 질문에서 이 책은 시작된다. 물론 잠시 생각해보면 두 말이 같은 말이라는 걸 알수 있지만 처음 들었을때는 통계적으로 정확한 수치를 제시하는 아래쪽의 말이 더 정확하게 느껴질
"통계 속 숫자의 거짓말" 내용보기

"2050년이면 우리나라 셋 중 하나는 65세 이상의 노인이 차지할 거래"
"2050년이면 65세 이상의 노인이 전체 인구의 32.5%를 차지하게 된대"

 

이 두가지 말 중에 어니 것이 더 신뢰감을 줄 수 있느냐는 질문에서 이 책은 시작된다. 물론 잠시 생각해보면 두 말이 같은 말이라는 걸 알수 있지만 처음 들었을때는 통계적으로 정확한 수치를 제시하는 아래쪽의 말이 더 정확하게 느껴질 수 밖에 없다. 학교에서 에세이를 쓸때도 보통 주제에 맞는 통계자료나 도표등을 첨부할 것을 요구한다. 물론 그 자료가 객관적이라는 것을 입증할 수 있는 출처역시 명시해야 하고 최근의 자료를 사용할 것을 요구받곤 한다. 하지만... 이 자료들을 보며 그것을 제대로 읽을수 있는 방법을 이 책에서는 제시해준다. 마지막에 통계의 오류와 수치의 허상을 스스로 밝혀낼 수 있는 원칙과 연습문제가 수록되어 있는데 그 것을 하나하나 풀어가면서 내가 그동안 얼마나 그런 수치들을 맹신하고 있었는지 스스로 돌아보는 시간이 되었다. 물론, 처음에는 숫자와 통계를 통해 어떠한 숨겨진 동기를 갖고 왜곡된 현실을 보여주었는지...  그리고 그로 인해 어떤 잘못된 판단을 내리게 되었는지 실제의 사례를 통해 이야기해준다.

 

특히, 뉴스를 보다보면 자주 듣게 되는 말인데... 가구당 평균자산이 얼마다. 혹은 평균부채가 얼마다 라는 식의 기사... 가끔 그런 생각을 하곤 했다. 우린 빚이 없는데... -ㅅ- 도대체 누가 저렇게 많은 빚을 갖고 사는 것인가... 라는... 이런 평균이라는 수치가 얼마나 허황된것인지 이 책을 통해서 알 수 있었다. 엄청난 자본을 소유한 재력가가 전체 국민에서 차지하는 비중인 아주 작지만 그들이 보유한 자산이 국민의 평균 수준을 끌어올리는 힘이 되는 것이다. 그래서 통계학자들이 제시하는 것이 중앙값이라는 것이다. 아래 그림을 보면 더 잘 알 수 있는데... 비슷한 사람들끼리 모여있을때는 평균값과 중앙값이 같다. 하지만 하나의 높은 수치가 들어오면 바로 평균값은 다수가 모여있는 수치를 넘어서게 된다. 이 것이 바로 평균자산이나 평균부채가 갖고 있는 심리적 함정인 것이다. 인구 1인당 GDP나 GNP가 얼마라고 하며 우리도 이제 선진국의 대열에 들어섰다는 식의 뉴스를 접한 적이 있을 것이다. 그런 뉴스를 보며 나는...?? 이라는 생각을 하는 사람들도 있을수 있다. 그럴때 평균값이라는 것이 늘 평균을 말하는 것은 아니라는 생각을 하면 좋을 것 같다. 또한 독일에선 중앙값을 함께 제시해주곤 한다는데... 우리도 그렇게 하면 어떨까 하는 생각이 들었다. 물론 그러면 빈부의 격차가 눈에 보일수도 있겠지만... 상대적 박탈감이나 열등감을 줄이는데 도움이 되지 않을까?

a******e 2012.03.10. 신고 공감 1 댓글 0
리뷰 총점 종이책
우린 어디까지 낚이고 있었을까? - 통계 속 숫자의 거짓말
"우린 어디까지 낚이고 있었을까? - 통계 속 숫자의 거짓말" 내용보기
그저께 아버지께서 시제에 가 보셔야 한다는 이야기를 듣고 광주 과학관에 가 볼 겸 하여 동행을 했다.(하지만 현재 광주 과학관은 개관하지 않았다.) 차를 타고 가던 중, 자세한 멘트는 생각나지 않지만 대략 이런 내용의 광고 문구가 들렸다. "숫자는 항상 정직하니까요."   예전 같았으면 그냥 넘겨버렸을 문구였다만, 애석하게도 이 책을 읽어버리고 난 뒤의 나는 그 말을 듣
"우린 어디까지 낚이고 있었을까? - 통계 속 숫자의 거짓말" 내용보기

그저께 아버지께서 시제에 가 보셔야 한다는 이야기를 듣고

광주 과학관에 가 볼 겸 하여 동행을 했다.(하지만 현재 광주 과학관은 개관하지 않았다.)

차를 타고 가던 중, 자세한 멘트는 생각나지 않지만 대략 이런 내용의 광고 문구가 들렸다.

"숫자는 항상 정직하니까요."

 

예전 같았으면 그냥 넘겨버렸을 문구였다만,

애석하게도 이 책을 읽어버리고 난 뒤의 나는 그 말을 듣자마자 의심을 했다.

그렇다. 이 책에는 숫자를 '의심하는 방법'이 적혀있다.

 

숫자, 그러니까 정확하게 우리가 쓰는 아라비아 숫자는 로마 시대, 그러니까 유럽 쪽에서

종교에 너무 시선이 편중한 나머지 과학의 암흑기가 되어버린 시기에 인도에서 만들어 낸 개념이었다.

 

우리가 사용하는 숫자와 휴대폰에서는 크게 발견되는 공통점이 있는데,

하나는 사람이 편의를 위해 만들었다는 것이고

다른 하나는 시각을 달리하면 그것이 우리를 '옭아매고 있다.'는 것이다.

 

요즘 투표 날짜가 다가오니, 투표를 예로 들어보겠다.

대통령 선거를 할 때 즈음이면 신문이든 뉴스든 인터넷이든 대서특필로 이런 기사들이 돌아다닌다.

"여론조사 결과 XXX 후보 XX%로 지지율 1위"

그리고 그 밑에 조그만하게 반드시 쓰여 있는 것이 있는데,

"표본  XXX명 추출, 신뢰도 X%"

 

사람들은 자연이나 사회에서 일어나는 현상들을 설명하기 위해서 '숫자'를 사용하게 되었고

특정 사건을 설명하기 위해 '통계', 혹은 '확률'을 도입했다. 모집단(모든 경우의 수, 혹은 전체 집단)이 적은 경우, 그러니까 주사위를 던져서 나올 수 있는 눈의 수를 파악하고 6이 나올 확률과 10번 던졌을 때 6이 나오는 횟수를 확인하는데에는 그다지 시간이 많이 걸리지 않는다. 이런 때에는 통계와 확률이 어느 정도 다음에 일어난 사건을 예측하는데 도움을 줄 수 있다.

 

하지만 투표와 같이 모집단이 어마어마한 경우(대략 5천만)에는 이렇게 일일이 조사하는 것이 불가능하다. 그래서 학자들은 이런 생각을 했다.

"물에 소금이 균일하게 녹아 있을 경우, 특정 부분의 소금물을 추출하여 농도를 잰다면 전체 소금물의 농도도 파악할 수 있을 것이다." 그리고 이것이 '표본추출"이다.

 

여론조사도 어느 정도의 표본을 추출한다.

대통령 후보자 설문 조사 때 추출하는 표본의 수가 2000이상을 넘긴 적을 본 적이 없었지만,

여튼 그 설문조사는 떡 하니 메인 기사로 올라와있었다.(그 기사는 표본수가 900명이었다.)

댓글 중에서는 "고작 900명 설문조사 한 걸 가지고 대통령 후보가 누군지 알아내겠다고?"라는 반응도

존재했고, 그 댓글에 반박하기 위해 "저런 통계라는 개념도 모르는 녀석"이라는 댓글도 달려있었으며,

심지어는 '될 사람을 뽑아줘야지.'라는 경악할 만한 반응도 보였다.

유권자들의 결정에 대해 알아본 설문조사를 바탕으로 의사를 결정하는 유권자도 존재하는 것이다.

앞서 말한대로 편의를 위해 사용한 숫자가 사람을 옭아맨 것이다.

투표는 될 사람을 뽑는 것이 아니라, 되었으면 좋겠다고 생각하는 사람을 뽑는 것이다.

 

여튼 이 둘 중 "누가 한 말이 맞는 말이냐?"라는 물음에 이 책은 "예니오"라고 대답하고,

객관적인 판단을 위해 필요한 '의심하는 법'을 자세하게 소개한 뒤 마지막으로

객관적 판단을 내리기 위한 15가지 기본원칙과 12개의 연습문제를 만들어두었다.

그리고 마지막으로 저자는 세상이 좀 더 정의로워지길 바라는 본인의 희망사항을 위해

본인의 직업을 살린 분야에만 관심을 쏟은 것을 사과하고,

자신 또한 객관적이지 못할 수 있으며 자신이 가진 지식이 전부가 아닐 수 있음을 인정하는

'겸손함'을 내비추었다.

 

저자가 강조하였던 (아주 쉬워보이지만 정작 판단을 할 때는 고려하지 않게 되는)

'객관적인 판단을 위한 15가지 기본원칙'을 실어놓아 보겠다.

 

1. 성급한 판단을 지양하고 침착한 태도를 유지한다.

2. 기존 자료들을 입수하여 현 상황과 비교한다.

3. 근거 자료를 요청한다.

4. 실제로 파악 가능한 수치들인지 검토해본다.

5. 예측의 정확도를 가늠해본다.

6. 어림잡아 계산해본다.

7. 개념의 정의를 따져본다.

8. 중요한 결정일 때에는 더욱 신중을 기한다.

9. 자료의 출처를 확인해본다.

10. 그래프의 x축과 y축, '착시효과' 등에 유의한다.

11. 그래프의 뒤에 숨은 근거 자료들을 요청하고 검토한다.

12. 독창적인 아이디어를 동원한다.

13. 직접 검산해본다.

14. 용기내어 결단을 내린다.

15. 다섯 가지 '입버릇'에서 벗어나야 한다.

 

앞에서 말했다시피 당연한 이야기들도 있지만,

이 책을 보지 않고서는 알기 힘든 내용들도 있다. (예를 들면 10번과 12번, 15번 등)

 

다른 사람들이 내 놓은 자료에 우유부단하게 휘둘린다고 생각하는 분들과

"예전에 했던 얘기와 다르잖아요."라는 말을 자주하는 분들에게 이 책을 추천해본다.



j*****0 2012.04.09. 신고 공감 0 댓글 0
리뷰 총점 종이책
[통계속 숫자의 거짓말] 숫자를 정확하게 읽을수 있는 방법을 배우는 책!
"[통계속 숫자의 거짓말] 숫자를 정확하게 읽을수 있는 방법을 배우는 책!" 내용보기
정부, 기업, 정치가는 통계로 어떻게 우리를 속이고 있는가?    통계 속 숫자의 거짓말   지은이 : 게르트 보스바흐, 옌스 위르겐 코르프 옮긴이 : 강희진 출판사 : 작은책방     이 책의 소개를 읽고나서 나는 왜 여지껏 그들이 제시해주는 그래프나 통계를 맹목적으로 믿었던 것일까?? 라는 깨달음을 얻게 되어 이책을 접하게 되었습니다. 보험가입을 할
"[통계속 숫자의 거짓말] 숫자를 정확하게 읽을수 있는 방법을 배우는 책!" 내용보기

 

 

 정부, 기업, 정치가는 통계로 어떻게 우리를 속이고 있는가?

 

 통계 속 숫자의 거짓말

 

지은이 : 게르트 보스바흐, 옌스 위르겐 코르프

옮긴이 : 강희진

출판사 : 작은책방

 

 

이 책의 소개를 읽고나서 나는 왜 여지껏 그들이 제시해주는 그래프나 통계를 맹목적으로 믿었던 것일까??

라는 깨달음을 얻게 되어 이책을 접하게 되었습니다. 보험가입을 할때면 자신들이 만들어낸 그래프들을 보면 내돈도 20년 30년후에는 더 크게 불어나는거라는 착각속에서 매달 빠져나가는 돈에 시달려 현재 힘들게 살아가지만 나의 노년은 행복할꺼라는 착각에 빠져살았던 것이 너무나 후회가 되었다. 그때 조금만 더 객관적이고 꼼꼼한 자료를 통해 나의 비용을 조금이나마 줄일수 있었던건 아닐까? 라는 의문이 마구마구 생기게 되는 좋은책! 앞으로는 그들의 수에 넘어가지 않으리라는 보장은 없지만 그래도 나에게 통계의 안목(?) 을 높여주는 아주 고마운 책입니다. 이책 한권속에 들어가 있는 모든 것을 꺼내어 말할순 없지만 정말 내 나름대로 깨달은것들을 몇가지 소개하고 싶습니다!!!! 이책을 통해 정말 값진것을 얻은거에 감사합니다.

 

이 책의 저자가 한국사람이 아닌거에 매우 아쉽다라는 생각이 들었습니다. 다른나라의 예들이 많기 때문입니다. 하지만 우리나라 정부나 기업들이 다른 나라 사람들보다 정직하다고 믿지 않기에 이 책의 매료 되었습니다. 요새 1% 와 99%의 싸움을 보면서 선진국의 양심선언하고 세금을 직접 납세하는 1%의 용기를 보면서 세상은 살만하다! 라는 생각을 한적이 있습니다.

선거철을 앞두고 99%의 편이 되겠다는 문구의 현수막을 볼때면 왜 내마음은 더 차가워 지는지 모르겠습니다..

 

0. 프롤로그 중에서...

전 세계에서 범죄율이 가장 높은 도시는 어디일까?

범죄율?? 후진국이 아닐까?? 범죄라 하면 살인말고도 많은것들이 있을테니... 소말리아? 인도?

모 요런 얕은 지식으로 고민을 했습니다. 그런데 정답은 어디일까요??

 

 

우선, 범죄율은 어떻게 계산될까요???

범죄율은 대개 일정 기간동안 해당 도시 안에서 일어난 각종 범죄건수(혹은 형사재판건수)를 그도시의 인구수로 나누어서 산출한다고 합니다. 그래서 정답은 이탈리아 로마 북서부에 있는 카톨릭 교황국 [ 바 티 칸 ] 이라고 합니다.

카톨릭교황국은 종교단체인데, 왜 그럴까? 싶지만.. 저자의 의하면

바티칸의 경우, 연가 1천8백만 명의 순례자와 관광객이 찾는곳으로, 드나드는 사람이 많다보니 도난이나 사기 등 범죄도 자주 일어나는데, 그 모든 사건과 사고를 바티칸 시민의 몫으로 돌려버린 것이기 때문이라고 합니다.

 

응?? 몬지 모르겠지만 제가 만약 바티칸 시민이라면 억울할껏 같습니다. 꼭집어 말할수 없지만 통계의 무언가의 오류가 있는듯 보여집니다. 하지만 전 어떠한 이의제기를 할 수 업습니다. 이렇듯.. 우리에게 어떠한 비판의 해야할지 어떠한 이의를 제기해야 할지 알려주는 책이 이 통계속 숫자의 거짓말이라는 도서입니다.

 

숫자. 수학. 통계. 백분률.. 요런거 저는 엄청 약합니다. 그래서 이 책이 왠지 어려울것만 같았습니다. 그런데 이책을 받고 읽기 시작하니 한번에 반을 읽게되더라구요.. 이책의 매력은 이것인거 같습니다. 어렵지 않은 설명으로 핵심만 쏙! 쏙! 쏙!

 

★ 이 책의 구성 ★

제가 가장 궁금했고, 필요한 부분이 제11~ 13장에 있는 것들이라 형광펜으로 살짝 줄을 쳐두었어요.

그렇다고 그쪽부터 읽기에는 앞쪽과 연결된 부분이 많아 앞쪽부터 차근차근 읽는게 좋겠다 생각됩니다.

 제1장 음양 이론과 동전의 양면

 

잘못된 계산법에 대한 이야기를 시작으로 이책의 이야기가 펼쳐진답니다.

모든것엔 음과 양이 공존하는 법이라는 가장 기본적인 진리와 더불어 설명이 됩니다. 양은 비용이라면 음은 편익입니다.

비용만 생각해서 없애버리면 음인 편익부분까지 없어진다는 것을 잊어버리고 정부나 기업에서 말하는 양인 비용면을 줄이려 하는 행동들을 보면서 우리는 그들의 말만 믿고 음인 편익을 잊어버린채 살게 되는것입니다.

 

음주단속을 하는데에 따른 통계를 내자면 지난주에 500명중 10명이 적발되고 이번주는 15명이 딱지를 끊었다고 합니다.

그러면 신문에는 50%나 늘어난 음주운전자라는 제목으로 기사를 싣습니다. 음주운전을 하면 안된다는 경각심에 의한 것이겠지만 단순한 통계에 의해 우리는 엄청난 수치에 놀라게 됩니다. 저자의 말에 의해 수정된 기사라면 주 연속으로 음주운전을 단속한 결과 지난주에는 전체의 98%가 술에 취하지 않은 상태에서만 운전한 것으로 드러났다. 아쉽게도 그 수치는 이번주 들어 97%로 줄어들었지만, 아직은 시민정신이 살아있는 듯 하다. 의 기사를 썼을것이다.

 

같은 상황을 가지고 어떻게 백분률을 내느냐에 따라 상황은 정말 너무나 다르다는 것에 놀라는 상황이였습니다.

 

저는 운전을 하는 사람으로 가까운 거리는 대중교통대신 차를 이용하는 편입니다. 금액적인 부분도 그렇고 시간적인 부분까지 생각하면 차가 훨씬더 편하고 싸다는 생각을 하기 때문입니다. 그런데 이 책을 읽고 나니 제가 얼마나 큰 오류를 범했는지 알게되었습니다. 경제학자들도 대중교통이용비와 자동차 기름값 2가지를 가지고 비교를 했습니다. 하지만 저자는 그건 그다지 정확하지 않는 계산법이라고 합니다.

 

자동차의 감가상각, 보험료, 수리비, 부품교체비, 주차비, 딱지갑ㅄ까지 모두 포함되어야 한다는 이야기입니다.

차를 유지하는데 드는 비용까지 더해져 계산한다면 어떤 수치가 만들어 질지 사뭇 기대가 됩니다..

 

바로 위에 예를 들어 정부는 부채가 늘어난다는 소리만 하지만, 돈을 빌려준 쪽에서는 이익이 생긱는 부분이라는 이야기..

듣고보니 맞는 이야기 이지만, 누가 그 이야기를 하는것일까요??

우리에게 낮은 이자로 돈을 빌려준다며 집을 사라고 부추기는 나라에게 우리는 정말 혜택을 받고 있는걸까요? 아니면 열심히 일한돈을 은행과 나라에 상납하고 있는것일까요? 다시 한번 생각하게 만드는 상황이 아닐수 없습니다.. (ㅠㅠ 슬픈현실)

 

 제4장 절대적 수치와 상대적 수치

 

퍼센트를 낼때 어떤 수치를 의해서 내어느냐에 따라 값이 달라진다고 합니다.

 

퍼센트의 신뢰도가 높아지는 이유는 말하는 사람이 대단한 계산능력을 지니고 있다는 느낌 때문이라고 합니다.

그럼 퍼센트가 무엇이길래 사람의 지적 수준을 판단하는데 도움이 되게 되는것일까요?

 

비교하는 단위..

하지만 이 비교하는 단위가 어떤것과 어떤것이 비교하느냐에 따라 수치가 달라지는것입니다.

저자의 예를 인용하서 안 나라의 정부가 미래를 위해 신규로 교사를 1000명이나 채용했다는 발표를 했습니다. 이는 절대적 수치의 거짓말입니다. 신규교사 1,000명 채용은 너무나 큰 일을 해낸것입니다. 정말 대단한 성과라고 말을했으며, 이야기를 듣는 시민은 그를 신뢰하게 될것입니다. 하지만 상대적수치로 그런데 공립학교만 7000개쯤 된다고 하면 이는 어떻게 되는것일까요? 학교 7군데 중에서 1곳만 신규교사를 채용했다는 계산이 나온것입니다.

이렇듯 절대적인 수치만을 가지고 이야기를 하는 사람의 말을 듣고 우리는 어떠한 질문을 던져야 할까요??

 

<20 세 이하 인구에 대한 같지만 다른 그래프 >

왼쪽의 하향선의 그래프는 2050년경이면 독일에서 청소년층이 멸종된다고 '사실'을 경고하기 위해 제시된 그래프입니다

 

저 그래프만 보면 인구가 갈수록 많이 줄어들고 있습니다. 하지만 이그래프에는 트릭이 있었습니다.

y축의 시작이 8.0으로 시작되었습니다. 그것을 오늘쪽처럼 0.0이라는 가장 처음의 기준으로 보면 크게 걱정할 그래프가 아닙니다. 중간의 부분을 자르고 같은크리고 늘리다보니 그래프의곡선이 저렇게 바뀌는것을 저는 처음 알게 되었습니다.

앞으로는 어떤그래프를 보던 정확한 y축과 x축을 찾아야 겠다라는 생각을 했습니다.

 

보험사는 은행들이 제시하는 이율의 그래프나 통계를 제시할때 우리는 꼭 한번씩 짚고 넘어가야 합니다.

1. 그래프의 y축과 x축의 생략이나 확대등을 오류를 찾아내고

2. 과거의 최고의 이율을 예를 들어 하는 수치로 앞으로는 그것 이상이 될꺼라는 거짓말!

3. 회사에서 낸 수치나 회사에서 의뢰해서 만든 수치나 그래프등을 꼼꼼히 따져본다

 

 

제가 이 책을 통해 얻은 짤막한 생각입니다.

우리를 고객으로 만들기 위해 만들어낸 회사의 통계들.. 그리고 그것을 마치 사실인것처럼 착각하고 보도하는 신문들...

99%를 통해 이익을 창출하고 그것을 극대화 하려는 1%의 사람들...

그들앞에 우리는 너무나 힘이 없고 나약하며 수치에 맹목적이었다라는 생각이 들었습니다.

 

 

 제15장 포기란 없다

 

이 책에서 말하주는 중요한 이야기 [ 통계를 대하는 15가지 기본원칙] 입니다

이 원칙을 통해서 나의 실수를 최소한으로 줄이는 방법만이 속임수에 빠져나가는 방법이 아닐까요?

 

 

그들은 전문가 이니까, 그 말이 맞겠지.. 라는 입버릇에서 벗어나서 확인하고 체크하며 비판적이 되어야만

우리의 권리를 지키고, 우리의 손실을 최소화 할 수 있을꺼 같습니다.


 

 제16장 연습이 대가를 만든다!

이 책을 통한 연습으로 우리는 실전에 나가 그들을 정복하리라!!! 라는 확신은 없습니다. 하지만 적어도 그들이 제시하는 것에 대한 나의 눈은 지금보다 발전되리라는 자신감은 생겼습니다. 딱딱하고 어려운 수학이 이렇게도 신비롭게 바뀔수 있다는 것이 정말 놀랍고 흥미진지했습니다. 이 책이 나와 나에게 얼마나 많은것을 알려줬는지.. 너무 감사합니다.

 

c*****6 2012.03.21. 신고 공감 0 댓글 0
리뷰 총점 종이책
정치, 경제, 사회 등 분야를 불문하고 모든 설문조사의 중심은 설문 대상자가 아니라 설문 의뢰자이다.
"정치, 경제, 사회 등 분야를 불문하고 모든 설문조사의 중심은 설문 대상자가 아니라 설문 의뢰자이다." 내용보기
[통계 속 숫자의 거짓말]   우리는 일상에서 수많은 통계 자료들을 접한다. 구체적인 숫자가 등장하며 어쩐지 신뢰감을 주는 퍼센트를 인용하고 도표를 제시하면 아! 그렇구나~ 하고 고개를 끄떡이게 된다.   이렇게나 구체적인 증거를 보여주는데, 눈 앞의 수치가 여실히 드러나는데, 그 주장이 옳지 않을 리가 있는가 말이다.     그러나 이 책을 읽고 나면
"정치, 경제, 사회 등 분야를 불문하고 모든 설문조사의 중심은 설문 대상자가 아니라 설문 의뢰자이다." 내용보기

 

 

[통계 속 숫자의 거짓말]

 

우리는 일상에서 수많은 통계 자료들을 접한다.

구체적인 숫자가 등장하며 어쩐지 신뢰감을 주는 퍼센트를 인용하고 도표를 제시하면

아! 그렇구나~ 하고 고개를 끄떡이게 된다.

 

이렇게나 구체적인 증거를 보여주는데,

눈 앞의 수치가 여실히 드러나는데,

그 주장이 옳지 않을 리가 있는가 말이다.

 

 

그러나 이 책을 읽고 나면  

"정부, 기업, 정치가는 통계로 어떻게 우리를 속이고 있는가?"라는 멘트가 너무나 절실하게 와닿는다.

 

자료의 수치를 손 대지 않고서도 얼마든지 달리 보여지게 할 수 있는 놀라운 온갖 방법들!

그래픽을 이용한 농간 빛 백분율의 함정, 매출이 똑 같더라도 매출 실적으로 올려보이는 그야말로 기적적인 방법들까지,

아주 혀를 내두를 지경인데,

문제는 이러한 방법들이 공신력 있는 기관이나 언론에서도 수없이 사용된다는 것이다.

 

모든 일을 수치로 제시하면 사람들은 맹목적으로 믿게 된다.

그러나 도표나 그래프, 각종 변수 등이 개발되면서

통계는 이용하기에 따라 현상을 미화하고, 허풍을 떨고, 대중을 호도하고, 현실을 조작하는 수단이 될 수 있다.

 

 

 

 

자신에게 유리한 것만 말할 수도 있으며,

과장된 그래픽으로 무의식을 자극하기도 다반사.

인과관계의 혼동, 상대적 수치의 거짓말, 표본 추출 방식에 따른 오류,

선거 결과 예측이나 장기적 예측의 한계, 윌-로저스 현상과 심슨의 역설 등

제법 유명하거나 상식적인 내용돌이지만 우리가 놓치고 있던 부분들이 얼마나 많았던가.

 

이 책에서는 통계와 관련된 다양한 트릭들을 소개하며

맨 마지막 장에서는 이 책에서 소개한 내용을 바탕으로 연습문제(?)를 풀어불 수도 있다.

물론 풀이도 있다.

 

 

내용이 어렵지 않을까 생각했었지만

저자 게르트 보스바흐(옌스 위르겐 코르프 공저)는 굉장히 위트 있게 이야기를 이끌어 나가며

대중이 궁금해하는 내용을, 대중의 눈높이에 맞추어 친절하게 설명해준다.

 

통계라는 숫자놀음에 놀아나는 바보가 되지 않기 위해서 무조건 냉소적인 태도를 가질 필요는 없다.

다만 그들의 거짓말을 꿰뚫어 보고 이의를 제기할 수 있는 수준의 안목은 갖추어야만 한다.

그야말로 수치의 마술! 아니, 이 세상은 사기가 아닐까... 싶더라는.

 

 

 

YES마니아 : 로얄 k*****0 2012.03.19. 신고 공감 0 댓글 0
리뷰 총점 종이책
통계속 숫자의 거짓말 서평.
"통계속 숫자의 거짓말 서평." 내용보기
통계속 숫자의 거짓말이라는 책을 읽어보게 되었습니다. 정부와 기업, 국민연금과 금융 및 여러분야에 대한 통계를 바탕으로 우리가 모르고 있는 통계의 거짓말들에 대해서 다루고 있는 책입니다.     지은이는 게르트 보스바흐와 옌스 위르겐 코르프라는 사람으로, 통계청에서 근무하던 경력을 살려서 통계와 정치사이의 관계에 대해 관심을 가지고 연구를 계속하고 있으
"통계속 숫자의 거짓말 서평." 내용보기

 

통계속 숫자의 거짓말이라는 책을 읽어보게 되었습니다.

정부와 기업, 국민연금과 금융 및 여러분야에 대한 통계를 바탕으로

우리가 모르고 있는 통계의 거짓말들에 대해서 다루고 있는 책입니다.

 

 

지은이는 게르트 보스바흐와 옌스 위르겐 코르프라는 사람으로,

통계청에서 근무하던 경력을 살려서 통계와 정치사이의 관계에 대해

관심을 가지고 연구를 계속하고 있으신 분들이라고 합니다.

 

 

프롤로그부터 정말 충격적인 이야기가 많았는데요,

솔직히 점점 갈수록 어려워 지는 책이라서 그런지

아무래도 그래프와 그림이 많이 나오는 부분에서는

숫자가 이해가 잘 되지 않는 부분도 없지는 않았습니다.

 

에필로그까지 정말 꽉꽉 한페이지 한페이지가 새로운 사실들이었어요.

특히나 여태까지 우리가 어떻게 속아왔는가 하는 것이 잘 드러나 있었네요. 

우리가 자주 접하는 연금제도와 함께 정치인들이 자주 사용하는 정보왜곡

말로만 사람들을 편하게 살게 해주겠다고 꼬여내는 정치인들의 실상이 다

적혀있는 책이라서 정치인들이 보면 왠지 찔릴것만 같은 책이기도 했어요. 

 

 

특히나 우리가 생각하는 것과는 달리, 그래프가 더 속이기 쉽다는걸 알았네요.

겉보기만 번지르르하다고 해서 그것이 사실이라고는 단정시킬수 없다는 것.

잡지와 인터넷기사 등 우리가 쉽게 접하는 매체에 실리는 그래프와 그림들이

사실은 가끔 우리의 눈을 속인다는 것을 다시한번 깨닫게 되었습니다.

 



c********7 2012.03.18. 신고 공감 0 댓글 0
리뷰 총점 종이책
통계 속 숫자의 거짓말
"통계 속 숫자의 거짓말" 내용보기
통계에 대한 우리들의 인식은 이제 그 도를 넘는다. 과연 그 통계를 우리는 믿고 있는가! 하는데 있다.숫자들의 놀음에 우리들은 희비가 엇갈린다.이 책은 숫자에 대한 우리들의 인식을 재구성하여 우리들에게 보여준다.         따라서 지금 내 앞에 놓인 과제는 중요한 지표들을 선정하는 것이다. 물론 여기에서 말하는 중요한 지표란 내 과실은 감추고 공로는 돋보이게 만드는
"통계 속 숫자의 거짓말" 내용보기

통계에 대한 우리들의 인식은 이제 그 도를 넘는다. 과연 그 통계를 우리는 믿고 있는가! 하는데 있다.숫자들의 놀음에 우리들은 희비가 엇갈린다.이 책은 숫자에 대한 우리들의 인식을 재구성하여 우리들에게 보여준다.

 

 

 

 

따라서 지금 내 앞에 놓인 과제는 중요한 지표들을 선정하는 것이다. 물론 여기에서 말하는 중요한 지표란 내 과실은 감추고 공로는 돋보이게 만드는 지표들이다.

 

 

 

 

누구나 이유에 대해 집착하기 때문에 인과관계를 뒤바꾸는 방식으로 현실을 조작하는 방식은 상당히 유효하다. 인간은 역동적인 것을 추구한다. 맨 오른쪽 점에서부터 하늘을 향해 죽죽 뻗어 나가는 화살표를 그려 보자. 그렇게 하고 나면 이제 걱정은 접어도 될 듯하다.

 

 

 

 

 

대개 수많은 기준들 중 하나를 임의로 선택한 뒤 자신의 생각이 옳다고 철석같이 믿어 버린다. 혹시 그 기준이 틀렸다 하더라도 수치를 제시한 사람의 책임은 아니다. 기준이 무엇인지 언급하지 않았을 뿐, 어떤 기준으로 선택하라고 지시한 적은 없기 때문이다.

 

 

 

 

많은 이들이 각자 자신의 필요에 따라 분자만 언급할 뿐, 분모가 무엇인지는 아예 밝히지 않는다. 정치계, 경제계, 언론계에서 백분율을 각자 자기 의도에 맞게 재단할 수 있는 가장 큰 이유는 백분율의 기준에 대해 의문을 품는 이가 많지 않기 때문이다.

 

 

 

그 덕분에 퍼센트 수치는 거리를 표시하는 절대적 단위인 센티미터처럼 취급되고 있다. 퍼센트( %)와 퍼센트포인트(%p)의 차이를 아는 이들도 많지 않다. 그 차이가 얼마나 큰지 한 가지 사례를 통해 살펴본다.

 

 

 


교육 분야의 예산은 걸핏하면 이런 식으로 교묘하게 삭감된다. 하지만 당국은 국민들에게 교육 예산을 대폭 늘린 것처럼 발표한다. 기존에 이미 제공되던 혜택들을 교묘하게 분류함으로써 예산을 부풀리는 것이다. 혹은 위 사례에서처럼 대상 기간을 길게 잡음으로써 모기(얼마 안 되는 숫자)를 코끼리(엄청난 수치)로 만들기도 한다.

s********k 2012.03.16. 신고 공감 0 댓글 0
리뷰 총점 종이책
통계속 숫자의 거짓말
"통계속 숫자의 거짓말" 내용보기
신간도서 통계속 숫자의 거짓말.. 제목을 보자마자 궁금증에 꼭 봐야할것 같은 도서..   나에게 너무나 익숙한 숫자와 통계.. 숫자와 통계에서 내가 속고있을지도 모른다는 생각이 불쑥 들었어요. 프롤로그의 숫자의 함정은.. 내가 믿고있는 숫자의 의미가 다가 아니였구나 생각하게 되네요.   그런데...왜 그게 다라고 믿었을까요. 신간도서 통계속 숫자의 거짓
"통계속 숫자의 거짓말" 내용보기

 

 

 

신간도서 통계속 숫자의 거짓말..

제목을 보자마자 궁금증에 꼭 봐야할것 같은 도서..

 

나에게 너무나 익숙한 숫자와 통계..

숫자와 통계에서 내가 속고있을지도 모른다는 생각이 불쑥 들었어요.

프롤로그의 숫자의 함정은..

내가 믿고있는 숫자의 의미가 다가 아니였구나 생각하게 되네요.

 

그런데...왜 그게 다라고 믿었을까요.

신간도서 통계속 숫자의 거짓말에서 말하듯이

 

2050년이면 우리나라 셋 중 하나는 65세 이상의 노인이 차지할거래

2050년이면 65세 이상의 노인이 전체 인구의 32.5%를 차지하게 된대

 

이 두가지의 경우 중..

저도 후자의 말을 더 신빙성이 있게 듣게 되었어요.

 

그만큼 우리 생활에 숫자와 통계는 깊이 들어와있는것같아요.

신간도서 통계속 숫자의 거짓말은

음양이론과 동전의 양면을 이야기하는데요.

 

좋은것이 있으면 안좋은 것이 있기 마련인데..

사람들은 좋은걸 통계로 많이 이야기를 한다죠.

그리고 그걸 믿게 되면서 안좋은 쪽에는 관심이 별로 없다고 해요.

 

예를 들면..

2008년 각종 언론은 국민에게 지급될 연금이 1.1%상승했다며 호들갑을 떨었다고해요.

그해 물가상승률이 2.6%였다는 사실은 약속이나 한듯이 다들 입을 다물었다죠.

신간도서 통계속 숫자의 거짓말을 보면서..

난 도대체 뭘 믿고 숫자와 통계를 100% 믿었을까를 생각하게 되었어요.

 

통계속 이면을 생각하게 되고..통계와 숫자를 더 자세히 알게 되었다죠..

그리고 숫자와 통계의 함정에 빠지지 않게..

한번더 의심하게 확인하게 되네요.

 

 

현대사회는 눈가리고 아웅~~하는 일이 많아진다죠.

우리가 믿고 있는것들을 한번더 되집어봐야하지 않을까 싶어요.

 

신간도서 통계속 숫자의 거짓말 꼭 보시라고 추천해드리고 싶어요.

y******1 2012.03.11. 신고 공감 0 댓글 0
리뷰 총점 종이책
통계 속 숫자의 거짓말
"통계 속 숫자의 거짓말" 내용보기
통계 속 숫자의 거짓말 정부, 기업, 정치가는 통계로 어떻게 우리를 속이고 있는가? 고령 인구가 늘어날수록 의료 재정은 궁핍해진다 통계는 과연 진실일까? 노후연금보험은 정말 성공적 미래를 보장할까? 부적절한 추세외삽법, 9%라는 비현실적인 수익률, 수익률이 유지된다는 환상, 명목가치와 실질가치에 대한 혼동! 우리 사회의 이기적 사기꾼들이 적극적으로 활용하는 통계
"통계 속 숫자의 거짓말" 내용보기

통계 속 숫자의 거짓말

정부, 기업, 정치가는 통계로 어떻게 우리를 속이고 있는가?

고령 인구가 늘어날수록 의료 재정은 궁핍해진다 통계는 과연 진실일까?

노후연금보험은 정말 성공적 미래를 보장할까?

부적절한 추세외삽법, 9%라는 비현실적인 수익률, 수익률이 유지된다는 환상,

명목가치와 실질가치에 대한 혼동!

우리 사회의 이기적 사기꾼들이 적극적으로 활용하는 통계의 비밀!!!

왜 모든 일이 수치로 제시되어야 사람들의 가슴에 와 닿는 것일까?

그 수치들이 옳다는 믿음은 대체 어디에서 오는 것일까?

왜 그토록 많은 사람이 수치를 종교나 되는 양 떠받들까?

통계는 이용하기에 따라 현상을 미화하고, 허풍을 떨고,

대중을 호도하고, 현실을 조작하는 수단이 될 수 있다.

그렇게 조작된 수치들은 이른바 전문적 정보라는 허울을 뒤집어쓰고는

중요한 결정을 잘못된 방향으로 이끈다.

앞으로 통계를 대하는 15가지 기본 원칙 중을 중심으로 통계에 접근하겠다.

성급한 판단을 지양하고 침착한 태도를 유지한다.

기존 자료들을 입수하여 현 상황과 비교한다.

근거 자료를 요청한다

실제로 파악 가능한 수치들인지 검토해본다.

예측의 정확도를 가늠해본다.

어림잡아 계산해 본다.

자료의 출처를 확인해본다.

그래프의 x축과 y축, 착시효과 등에 유의한다.

직접 검산해본다!

아무튼 책을 읽어 나가는동안 많은 새로운 사실을 깨닫게 되고,

그와 더불어 수치라면 무조건 떠받드는 이들과 전문 지식이라면

덮어놓고 믿는 이들을 마음껏 비웃어주고 싶다.

YES마니아 : 플래티넘 c*********r 2012.03.11. 신고 공감 0 댓글 0