괴델, 아리스토텔레스 이후 최고의 논리학자
<타임>지가 선정한 20세기 최고의 수학자
불완전성정리, 컴퓨터를 만들어 내는 이론적 기초를 제공

역사상 가장 흥미로운 증명에 대한 꼭 읽어야 할 책!

20세기 초, 고전물리학과 수학의 토대를 이루는 가정들에 몇 번의 타격이 가해졌다. 상대성이론은 그때까지 확립되어 있던 시간과 공간의 개념을 뒤엎었으며, 양자역학의 연구들은 결정론과 인과율에 관한 기본적 인식을 송두리째 흔들었다. 또한 집합론에서도 러셀의 패러독스 등 여러 가지 모순들이 나타났다. 특히 모든 과학에 대한 수학의 중요성에 비춰 볼 때 가장 폭발적인 것은 수학적 추론을 체계화하고자 하는 모든 시도에 메울 길 없는 틈이 있음을 밝혀낸 불완전성정리인데, 언뜻 거의 모순적으로 보이지만 참으로 놀라운 결론이다. 이 발견의 배경에 자리 잡은 천재 쿠르트 괴델은 그 자신이 모순적인 인간이었다. 아리스토텔레스 이후 가장 위대한 논리학자였던 그는 만년의 아인슈타인에게 가장 가까운 지적 동료이기도 했다. 한편 그는 괴벽스러운 기질이 있었으며 편집증적 논리에 빠져 살았고 결국 이 때문에 비극적인 죽음을 맞았다. 이처럼 비이성적인 삶을 살았음에도 불구하고 그는 이성을 굳게 믿었다. 독창적인 증명을 통해 그는 충분히 복잡한 체계, 요컨대 수학자들이 사용하고자 하는 체계라면 어떤 것이든 참이면서도 증명불가능한 명제가 반드시 존재한다는 사실을 밝혀냈다. 이 결과에 절망하는 사상가들이 있는가 하면 거목 비트겐슈타인과 같은 사람들은 결코 받아들이려 하지 않았다. 심지어 어떤 사람들은 오해에 빠진 나머지 이를 합리성이란 배에 정면으로 돌진하는 어뢰로 여겼다. 하지만 괴델이 보기에 이는 인간의 마음으로는 오직 불완전하게 헤아릴 수밖에 없는, 인간과 독립적으로 존재하는 영원불멸의 객관적 진리에 대한 증거였다. 레베카 골드스타인은 소설가로서의 기교와 과학철학자로서의 통찰을 결합하여 괴델의 정리와 그 현란한 귀결들을 이해하기 쉽도록 펼쳐 보임은 물론 괴팍스럽고도 처절한 천재의 삶을 생생히 그려 나간다. 『불완전성』은 괴델의 삶과 세계, 그리고 그의 업적에 바쳐진 새롭고도 중요한 찬양이다.

* 출간에 덧붙여

19세기 산업은 전기 기술 시대, 20세기는 전자 기술 즉 반도체가 주도하는 시대였다면 21세기는 양자 기술 시대입니다. 21세기의 양자 컴퓨터, 양자 암호, 양자 정보, 양자 철학 등의 양자 기술 시대를 대비하기 위해서는 지금의 청소년 세대부터 수학과 물리학의 근본원리를 뿌리부터 본질적으로 이해하고 공부해야 합니다. 이를 위해서는 의미 있는 수학 및 양자 물리학 서적들이 충분히 출간되어야 합니다.
『불완전성』은 이런 생각을 바탕으로 좋은 컨텐츠를 내놓겠다는 일념으로 만들어 낸 역작입니다. 수학, 과학, 컴퓨터는 물론 모든 학문의 기초라고 여겨지는 논리학을 이끈 대부로 평가되는 괴델의 천재적인 업적과 삶을 다룬 이 책이 미래의 주역인 청소년에게 좋은 선물이 되길 바랍니다.

* "놀라운 지적 교향곡"
- 나는 증명될 수 없다

모든 오류는 (감정이나 교육과 같은) 외부 요인 때문이다. 이성 자체는 오류를 범하지 않는다.
-쿠르트 괴델(Kurt G?del), 1972년 11월 29일

괴델의 불완전성정리, 아인슈타인의 상대성이론, 하이젠베르크의 불확정성원리. 이 이론들의 이름에서 왠지 인간적인 요소가 느껴지지 않는가? 객관성을 포용하는 주관성, 곧 "모든 것은 생각에서 나온다"라든지 "인간은 만물의 척도"라는 사고방식은 20세기의 지성과 문화의 장에서 뚜렷한 지배적 흐름이었다. 누구나 혁명적으로 여기며 시사적인 이름이 붙여진 괴델과 아인슈타인의 업적은 하이젠베르크의 불확정성원리와 함께 '객관성의 신화'를 물리칠 가장 강력한 현대적 근거로 한데 엮어졌다. 나아가 이러한 삼위일체식 해석은 그 자체가 현대적, 더 정확히 말하면 포스트모던적 신화의 일부가 되었다. 1962년 윌리엄 배렛(William Barrett)이 펴낸 『비이성적인간: 실존주의 철학의 한 연구』에서 괴델은 마르틴 하이데거나 프리드리히 니체와 함께 우리가 품은 합리성과 객관성이라는 환상의 파괴자로 자리 매김 되어 있다.

쿠르트 괴델은 스물세 살에 수리논리학 분야에서 불완전성정리(Incompleteness theorem)라고 불리는 경이로운 증명을 완성했다. 이 정리는 대부분의 수학적 결론들과 달리 숫자나 상징적 기호체계로 표현되어 있지 않다. 실제로 증명의 본질적인 세부 사항들은 엄청나게 전문적이지만 전반적인 전략은 반갑게도 그렇지 않다. 논리적으로 연결된 두 가지의 불완전성정리들로 구성되어 있으며 이 두 결론은 대략 평범한 말로도 충분히 표현할 수 있다. 『철학사전(Encyclopedia of Philosophy)』에 나온 '괴델의 정리'에는 두 정리에 대해 다음과 같은 명료한 설명을 내놓는다.

괴델의 정리라 함은 일반적으로 다음과 같은 사실을 뜻한다. 수론에 적합한 어떤 형식체계에나 결정불능의 식, 곧 그 자체는 물론 그 부정도 증명할 수 없는 식이 존재한다(이 명제를 때로 괴델의 제1정리라고 부른다). 이로부터 수론에 적합한 어떤 형식체계의 무모순성은 그 체계 안에서는 증명할 수 없다는 따름정리가 나온다(때로 이 따름정리를 괴델의 정리라고 부르며, 괴델의 제2정리라고 부르기도 한다). -본문 중에서

기본적 산술을 품은 무모순성이 가정된 어떤 형식체계에서든 참이면서 증명불능의 명제가 존재한다. 산술을 품을 정도로 풍부한 체계는 무모순이면서 완전할 수 없다는 것이다. 이 정리의 증명은 자기모순의 경계로 접근해 가면서 참이되 증명불능인 산술명제가 존재한다는 결론을 이끌어 낸다. 괴델은 1931년 논문에서 거짓말쟁이역설과 리샤르의 역설을 언급하면서 자신의 정리를 이끌어 낸 전반적인 아이디어를 제시한다.

전통적으로 거짓말쟁이역설의 기원은 크레타인 에피메니데스로 보며 "모든 크레타인은 거짓말쟁이다"라는 뜻의 말을 했다고 전해진다. 이 문장 자체는 역설적으로 보이지 않지만, 에피메니데스가 다음과 같은 뜻으로 말했다고 보는 한 역설이 된다. "이 문장은 거짓이다." 이미 보았다시피 이 문장은 오직 그것이 거짓일 때만 참이며, 논리적으로 볼 때 이는 좋지 않은 상황이다. 괴델의 전략은 이 역설적 문장과 비슷한 명제를 생각하는 데에서 출발한다. -본문 중에서

괴델 자신의 플라톤주의적 관점에 따르면 그의 증명은, 수학을 이해하는 우리의 마음은 인간이 구축한 체계의 한계를 벗어나 독립적으로 존재하는 추상적 실체에 이를 수 있음을 보여 준다. 이 정리의 전문적 내용은 논리학과 수학을 변혁시켰다. 특히 그가 사용한 증명법과 증명 도중에 정의한 관념들은 재귀론(recursion theory)이나 모델론(model theory)과 같은 완전히 새로운 연구 분야를 이끌어 냈다. 하지만 괴델보다 바로 한 세대 앞서 위대한 수학자로 추앙받던 다비드 힐베르트(1862~1943)의 주요 업적은 불완전성정리의 논리에 의해 쓸모없는 것으로 여겨지게 되었다.

힐베르트의 첫째 문제는 칸토어의 연속체가설에 관한 것인데, 이 가설은 도대체 무엇일까? 19세기의 위대한 수학자 게오르크 칸토어는, 대략 말하자면, 실수와 자연수의 개수는 모두 무한이지만 실수의 개수가 자연수의 개수보다 많다는 사실을 증명했다…… 괴델과 폴 코헨은 현재의 집합론 안에서 연속체가설은 참이나 거짓 그 어느 것으로도 판정할 수 없음을 증명했던 것이다. 다시 말해서 연속체가설은 증명도 반증도 할 수 없으므로 그에 대해 우리는 언제까지나 알 수 없는 상태로 남을 수밖에 없고, 이에 따라 바로 힐베르트가 있을 수 없다고 말한 무지의 한 예가 되었다. -본문 중에서

* 우리가 인간이라는 것은 무엇을 뜻할까?

"인식론 없는 과학은, 정녕 그런 게 있기라도 한다면, 원시적일 뿐 아니라 혼란스런 것이다"
- 아인슈타인, 본문 중에서

괴델이 등장하기 전에 논리학자들은 철학과에 속하는 게 통례였다. 프린스턴대학교의 논리학자 사이먼 코첸(Simon Kochen)은 "괴델이 논리학을 수학의 영역으로 옮겨 왔습니다. 오늘날 유명 대학의 수학과들은 교수진에 논리학자를 포함시키고 있습니다"라고 말했다.

"그(괴델)는 수학에 대한 악마이다. 괴델 이후에는 수학이 신의 언어일 뿐 아니라 우리가 우주와 만물을 이해하기 위해 해독해야 할 언어라는 생각은 더 이상 성립할 수 없게 되었다. 이는 우리가 살고 있는 방대한 포스트모던적 불확실성의 일부이다." 우리의 형식적 사고체계에도 불완전성이 필연적이란 사실은 어떤 체계가 안주할 확고부동한 근거는 있을 수 없다는 뜻이다. 참으로 확실하여 어떤 개정 가능성도 없을 것처럼 보이는 진리들도 본질적으로는 모두 만들어진 것들이다. 실제로 객관적 진리라는 관념 자체도 사회적으로 구축된 신화에 지나지 않는다. 우리의 인식 기능은 진리에 근거해 있지 않다. 오히려 진리라는 관념 전체가 우리의 정신에 근거를 두고 있으며, 잘 인식되지는 않지만 정신은 다시 영향력의 유기적 형태에 대한 충복일 따름이다. 이런 점에서 인식론은 권력의 사회학에 지나지 않는다. 괴델 논리의 포스트모던적 버전은 대략 말하자면 이런 식으로 전개된다. -본문 중에서

본래 수학적 진리이면서도 괴델의 정리들은 인간의 본질에 관한 핵심적 질문, 곧 "우리가 인간이라 함은 무엇을 뜻하는가?"라는 질문을 제기한다. 수학 역사상 이 정리들만큼 장황한 논란을 이끌었던 것도 없다. 과연 이것들이 정확히 무엇을 그리고 얼마나 이야기하는지에 대해서 합의가 이뤄진 적은 없지만 참으로 많은 이야기를 남겼을 뿐 아니라 수학의 영역을 넘어 초수학에도 침투했다는 데 의문의 여지가 없다. 괴델의 결론은 수학적 정리이면서도 단순한 수학을 넘어서며 수학의 안은 물론 밖에서도 이야기한다. 이는 이 정리의 눈부시게 빛나는 측면 가운데 하나인데 더글러스 호프스태터는 퓰리처상을 받은 인기 저작 『괴델, 에셔, 바흐: 영원한 황금 노끈』에서 바로 이 측면을 활용했다.

다른 사색가들은 인간 정신의 본질과 관련하여 괴델의 정리에 내포된 암시를 완전히 다른 방향으로 이끌어 간다. 예를 들어 로저 펜로즈(Roger Penrose)는 베스트셀러가 된 두 권의 저서 『황제의 새 마음(The Emperor's New Mind)』과 『마음의 그림자(Shadows of the Mind)』에서 우리의 마음은 그 본질이 무엇이든 결코 디지털 컴퓨터가 될 수 없다는 자신의 논리를 뒷받침하는 핵심적 근거로 불완전성정리를 활용했다. 펜로즈에 따르면 괴델의 정리는 가장 정교하게 법칙에 따라 진행하는 사고과정, 곧 수학이란 학문에서도 우리는 컴퓨터 프로그램이라는 기계적 절차로 결코 환원될 수 없는 진리발견의 과정을 동원해야 한다...... -본문 중에서

펜로즈는 괴델의 정리들은 인간 정신의 한계를 보여 주는 게 아니며, 오히려 인간 정신의 계산적 모델, 곧 모든 사고를 규칙전개로 보는 모델에 내포된 한계를 보여 준다고 말한다. 괴델의 정리들은 우리를 포스트모던적 불확실성에 빠뜨리는 게 아니라 인간 정신에 대한 특정의 환원적 이론을 배격한다는 것이다.

저자는 괴델이 그의 정리를 통해 말하려는 것은, 우리가 수학적 진리를 파악할 수 있다는 게 미혹이 아니라면, 그리고 우리가 직관을 가지고 있다는 게 미혹이 아니라면, 우리는 기계가 아니라는 것이다. 또한 우리가 진정한 의미의 직관을 가지고 있다면, 우리의 모든 수학적 직관을 형식화(또는 기계화)하는 것은 불가능하면, 우리는 정녕 기계가 아니다. 물론 우리가 안다고 생각하는 모든 것을 우리가 알고 있다는 증거는 없다고 말한다. 왜냐하면 우리가 안다고 생각하는 모든 것을 형식화할 수는 없기 때문이며, 이것도 불완전성의 한 측면이다. 그리고 이 때문에 우리는 기계가 아니란 점을 엄밀히 증명할 수 없으며 불완전성정리는 형식화의 한계를 보여 줌으로써 우리의 지성이 기계를 초월할 수도 있지만 그 점을 증명할 수 없다는 사실을 암시한다고, 그래서 참으로 거의 역설에 가까운 결론이라고 저자는 말한다.

괴델의 정리는 정신병리의 고통에도 어둡게 반영되어 있다. 형식체계의 무모순성이 그 체계 안에서는 증명될 수 없다는 것과 똑같이 우리의 이성, 곧 우리의 정신이 말짱하다는 사실의 증명이 우리의 이성 안에서는 이뤄질 수 없다. 어떤 신념에 대한 믿음을 포함하여, 신념들의 체계 속에 살아가는 한 인간이, 그 체계가 합리적이란 점을 보이고자 할 때 어떻게 그 체계를 벗어날 수 있을까? 만일 한 인간의 합리적 판단기준을 포함하는 전 체계가 광기로 오염되어 있다면, 그 사람은 과연 어떻게 그 광기를 벗어나 합리적으로 자신의 나아갈 길을 판단할 수 있을까? -본문 중에서

* 괴델과 비트겐슈타인, 괴델과 아인슈타인 그리고 튜링
- 괴델의 정리, 컴퓨터를 만들어 내는 발판이 되다

괴델의 업적과 컴퓨터와의 관계는 아인슈타인의 업적과 원자폭탄 사이의 관계보다 더 가깝다고도 할 수 있다. -하오 왕, 『괴델의 삶』

괴델과 비트겐슈타인은 실증주의를 표방한 빈서클에 함께 속해 있었다. 비트겐슈타인은 형식언어가 괴델의 증명이 보인 방식으로 말하는 것은 불가능하다고 믿었다. 또한 그는 역설이란 것은 언어의 기능에 수반되는 사소한 현상에 지나지 않는다고 보았고 거기에 어떤 중요한 귀결이 있을 가능성도 완강히 부인했다. 비트겐슈타인은 바로 이 점에 대해 논리학자 앨런 튜링과도 논의했다.

하지만 튜링은 비트겐슈타인을 무시했을 뿐 아니라 이에서 더 나아가 괴델의 증명과 많은 점에서 닮은 또 하나의 경이로운 증명을 이룩했다. 괴델의 정리는 증명방법이 컴퓨터를 만들어 내는 이론적 기초를 제공하는 것으로 튜링에게 영향을 주었다. 어떤 명제의 증명가능성을 자연수 집합에서 정의된 어떤 함수의 계산가능성에 대한 문제로 대체하여 괴델은 1930년대 어떤 함수가 계산가능인가를 연구하였다. 이런 연구를 기반으로 튜링, 폰 노이만 등에 의해 1940년대와 1950년대 최초로 컴퓨터가 제작되었다.

한편 비트겐슈타인에 따르면 수학적 결론은 단순히 구문론적인 것에 불과하므로 광범위한 초수학적 문제에 흥미로운 귀결을 제시할 수 없다. 하지만 만일 우리가 비트겐슈타인과 괴델의 초수학적 견해차를 뛰어넘어 살펴본다면 두 사람 사이에서, 특히 적어도 실증주의자적 해석으로 가려진 전기의 비트겐슈타인과 괴델 사이에서 놀라운 공통점을 찾을 수 있다고 이 책에서는 말한다.

어떤 의미로는 전기의 비트겐슈타인이 쓴 『논리철학논고』의 마지막 명제는 불완전성에 대한 그 자신의 버전이라고 말할 수 있다. 괴델이 우리의 형식체계가 그 안에 있는 수학적 실체를 모두 소진할 수 없다는 사실을 보인 것과 마찬가지로 전기의 비트겐슈타인은 우리의 언어체계가 그 안에 있는 비수학적 실체를 모두 소진할 수 없다는 주장을 펴낸 셈이다. 『논리철학논고』에 따르면 말해질 수 있는 것은 분명 말해질 수 있다. 그러나 가장 중요한 것들은 말해질 수 없다. 우리는 말해질 수 없는 진리를 말할 수 없지만 그것들은 존재한다. -본문 중에서

아인슈타인과 괴델 사이의 전설적인 우정은 아직도 흥미로운 탐구 대상이다. 두 사람은 날마다 고등과학원에 이르는 길을 함께 거닐었고 다른 사람들은 무슨 할 말이 저리 많을까 하는 호기심과 의아함으로 그들을 쳐다보았다. 한 예로 에른스트 가보르 슈트라우스는 다음과 같이 말했다. "프린스턴에서의 아인슈타인에 관한 어떤 이야기도 쿠르트 괴델과 나눈 참으로 따뜻하지만 긴밀한 우정을 빼놓고서 마무리될 수는 없다. 두 사람은 너무나 다르다. 하지만 어떤 이유에서인지 그들은 서로를 잘 이해했을 뿐 아니라 한껏 존경하기도 했다." 슈트라우스는 아인슈타인에 대해 "사교적이고 명랑하며 건정한 상식과 웃음으로 가득하다"라고 썼다. 반면 괴델에 대해서는 "극도로 엄숙하고 매우 진지하며, 사뭇 고립적인 가운데 진리에 이르는 수단으로서의 건전한 상식에 대해 혐오감을 가지고 있다"라고 말했다.

두 사람이 어린 시절 서로 상대방이 영역으로 진학할 생각을 품었다는 점이다. 아인슈타인은 처음에 수학자가 되고자 한 반면 괴델은 빈대학교에 들어가면서 물리학을 전공하려고 했다… 이 두 사람은 사색가들이 동료가 될 이유 중 가장 깊은 의미에서 동료 관계를 이루었다. 두 사람은 모두 실체의 이해에 전력을 기울였으며, 그에 관한 자신들의 연구에서 고통스럽지만 전 세계의 다른 수많은 사색가들과 불일치를 이룰 수밖에 없었다. -본문 중에서