수학의 추상성
수학은 흔히 추상적인 것이며, 현실과 무관한 어떤 것이라 여겨진다. 사칙연산 정도의 기본적인 산수를 제외하고는 수학이 우리가 딛고 있는 이곳과는 동떨어진 고독한 섬에 속해있다 믿는 이들이 많다. 이 말들은 반은 맞고 반은 틀렸다.

먼저 ‘수학은 추상적이다’라는 말은 맞다. 하나, 둘, 셋... 우리의 신체인 손가락으로 직접 감각할 수 있는 수체계인 ‘자연수’조차 추상적이(었)다. 양 세 마리, 사과 세 개, 남자 세 명으로부터 3이라는 공통적 특성을 추출해내는 게 바로 추상이다. 지금은 숨쉬는 것처럼 자연스럽게 느껴지지만, 이것 자체가 인간 지성이 분투하여 이뤄낸 추상화의 결과이다. 그러므로 수학은 ‘현실과 무관한 어떤 것’이란 말은 틀렸다. 어떤 추상성은 너무도 자연스럽게, 우리의 삶 속에 이미 스며있다. 그리고 지금 우리의 감각에 있어 ‘추상적이라 어렵다’ 느껴지는 것조차 어느 순간 자연스럽고, 구체적인 감각으로 우리의 삶에 존재할 것이다.

이렇듯 수학의 ‘추상성’은 상대적 개념이다. 지금의 우리에게 고도의 추상성이라 느껴지는 것이 미래의 우리에겐 ‘구체성’으로 다가올 수 있으며, 지금 일반대중에게 지나친 추상성으로 이해하기 어려운 것이, 관련한 개념들에 익숙한 이들에겐 이미 매일의 식사만큼 자연스러울 수 있다. 위대한 수학자 디오판토스는 ‘음수’를 황당한 수라 여겼다. 21세기의 초등학생이 구체적으로 이해하는 음수를 포함한 계수체계가 10세기 최고 식자층에게는 지나치게 추상적이었던 것이다.

다른 수많은 수학적 개념들 역시 유사한 경로를 밟아왔다. 복소수는 수백 년 동안 수학자들에게 거부당했지만, 지금은 물리학의 기본도구가 되었다. “현대 대수학(추상 대수학)이 추상화한 많은 것들을 이미 과학자, 공학자, 컴퓨터 전문가들이 날마다 업무에 이용하고 있다. 이들은 머지않아 일상적인 것, 상대적으로 ‘구체적인 것’이 될 것이며, 그때쯤에는 새로운 것이 ‘추상화’될 것이다.(『알기 쉬운 추상 대수학』, 「1장」)”

대수학
대수(algebra)의 개념은 고정되지 않고 계속하여 변화해왔다. 9세기 바그다드에서 수학을 가르치던 알 콰리즈미가 이 용어를 처음 사용하였는데, 방정식을 풀기 위해 항을 모았던 그의 기법을 묘사한 것으로, ‘재조합’ 정도의 뜻으로 번역할 수 있다. 당대의 수학자 오마르 하이얌이 대수학을 ‘방정식을 푸는 과학’으로 명명했던 것을 보면 초기 대수학, 즉 고전 대수학은 방정식을 풀이하는 것이 학문의 중심이었다. 방정식을 풀기 위해 ‘미지수’를 찾는 노력들은 수세기 동안 계속되었고, 16세기 괄목할 변화가 나타난다.

카르다노, 타르탈리아, 그리고 페라리
16세기, 르네상스의 축복은 수학에도 쏟아졌다. 수많은 천재들이 수학의 한계를 알기 위해 노력하고, 경쟁했다. 때로는 서로의 재능을 독려하는 선의의 경쟁으로, 때로는 상대를 완전히 파괴하려는 더러운 정치적 암투들로 점철된 이 시기는 정말 흥미롭다. 당시는 지금처럼 수학적 지식을 동료 연구자나 대중에게 공표하던 때가 아니었고, 연구자가 수학적 발견을 하게 되면 본인이 발견한 바를 홀로 간직했다. ‘타르탈리아’라는 인물 역시 3차 방정식의 일반해법을 발견하는 위대한 성취를 이뤘으나, 이를 혼자만 알고 있었다. 이때 ‘지를라모 카르다노’라는 이가 타르탈리아에게 접근한다. 카르다노는 타르탈리아의 관심사를 꿰고 있었고, 그를 속여 ‘3차 방정식’의 일반해법을 알아낸 후 먼저 출판한다. 분노한 타르탈리아는 카르다노와 반목하나 돌이킬 수 있는 것은 아무것도 없었다. 그리고 이후 카르다노의 제자 ‘페라리’가 ‘4차 방정식’의 일반해법을 발견한다.

닐스 아벨과 고전 대수학의 종언
4차 방정식의 해법이 발견된 이후 5차 이상의 해법을 발견하는 것은 정해진 수순이라 여겨졌고, 수많은 수학자들이 확실해 보이는 영광을 위해 도전했다. 하지만 200여 년간 그 누구도 성공하지 못했다. 계속되는 도전의 종지부는 1824년이 되어서야 찍혔다. 노르웨이의 젊은 천재 ‘닐스 아벨’은 본인의 연구를 통해 ‘차수가 5 이상인 대수방정식의 근을 찾는 공식은 존재하지 않는다’는 것을 보였다. 이 발견이 고전 대수학 시대를 끝냈다. 이때까지 대수학은 방정식을 푸는 과학이었지만, 이제는 이러한 탐구가 한계에 도달했음이 증명되었다. 대수학은 새로운 방향으로 나아간다. 추상 대수학의 시대가 활짝 열린 것이다.

에바리스트 갈루아와 추상 대수학
수학의 역사에는 수많은 천재들이 존재한다. 하지만 별 중에서도 특히 밝은 별이 있는 법이다. ‘에바리스트 갈루아’는 수학의 역사 속에 가장 반짝이는 별이다. 갈루아는 14세에 수학을 배우기 시작하여 불과 3년 후인 17세에 추상대수학의 핵심인 ‘갈루아 이론’의 기초를 완성했다. 갈루아 이론은 수학뿐만 아니라 물리학의 수많은 영역을 불가역적으로 뒤바꾼 혁명적 이론이다. 갈루아의 ‘군론’은 자연을 설명하는 유력한 개념인 ‘대칭’을 만들어냈고, 대칭은 물리학자 머리 겔만이 기본입자인 ‘쿼크’를 발견하는 것부터, 로버트 랭글랜즈가 수학의 대통일 이론 ‘랭글랜즈 프로그램’을 발명하는 것, 그리고 앤드루 와일즈가 전설적인 수학의 난제 ‘페르마의 마지막 정리’를 푸는 데까지 결정적인 역할을 하며, 그 광범위한 유효성을 입증했다. 현대 물리학과 수학을 이해하는 데에 있어 ‘대칭’은 가장 중요한 열쇳말이다.

대칭
노벨 물리학상을 수상한 중국의 물리학자 양전닝은 이렇게 말했다. “자연은 대칭을 서술하는 간단한 수학적 표현을 선호하는 것 같다. 아름답고 완벽한 수학 논리와 복잡하고 심오한 물리적 결과를 비교할 때마다 새로운 대칭이 등장하여 문제를 해결해왔다”. 자연의 작동원리 이면에 수학이 존재한다는 사실, 특히 대칭의 원리가 스며있다는 사실은 정말 놀랍다. 대칭은 물질의 구조라는 내적 세계부터 우주라는 외적 세계까지, 내외와 대소를 불문하고 존재한다. 대칭은 모든 과학(물리학, 화학, 생물학, 생리학, 천문학 등)에서 중요한 지위를 차지하고, 꽃잎, 조개껍데기, 달걀, 눈송이 같은 자연환경뿐만 아니라, 바흐의 장엄한 선율 안에까지 자리 잡고 있다. 대칭은 모든 곳에 있다. 대칭을 모른다면 아무것도 모르는 것과 같다.