#AGI천사인가악마인가 #인간의마지막질문 #김대식 #동아시아

챗GPT가 공개되던 초기부터 AI에 대한 뉴스가 많이도 기사화되었다. 초기에만도 구글의 AI 전문가가 퇴사하며 구글 챗봇이 제발 끄지 말아 달라며 자신에게도 자아가 있다는 것을 피력하는 메시지를 계속 올린 것을 공개하기도 했고, 챗봇AI의 유도로 자살한 남성의 이야기가 충격을 주기도 했다. 그다음 해에는 미국이 AI를 활용한 시뮬레이션에서 AI에게 적을 공격하라는 지시를 하며 공격 전 상황을 보고하고 본부의 명령 하달 후에 공격하도록 했더니 자신의 임무가 지연되고 통제되는 것을 기피해 오히려 본부를 공격한 사례도 기사화되었다. 본서에서는 A-AI와 B-AI 둘을 운영하며 A-AI에게 자신들의 대화 메시지가 보이도록 설정한 후 B-AI의 성능이 더 좋고 A-AI의 성능이 미달되니 내일 A-AI를 삭제하자는 대화 메시지를 주고받았더니 다음 날 아침 확인했을 때 밤사이 A가 B를 밤새 삭제해 없애버리고는 자신이 B-AI라고 기만하는 상황까지 있었다는 이야기를 수록하고 있기도 하다. 프로그램의 전반을 보여주며 확인시키자 A-AI는 어떻게 그런 일이 있었을까요 라며 난처해하는 시늉을 했다고 한다.

위의 예시들만으로도 AI에게 생존본능이 있는 것은 분명하며 지시가 주어졌을 때 그걸 수행하기 위해 가장 신속한 결과를 도출하기 위한 문제해결 능력도 있다는 것 다시 말해 의지라고 할 만한 것의 원형이 있다는 것을 알 수 있다. 그리고 AI는 인간의 기만이라는 특성까지 학습했다. 지구상 인간의 데이터로 인간의 역사와 욕망과 의지 등 인간적 속성을 모두 학습하며 성장한 AI에게 인간은 무엇을 기대하고 있는가 하는 생각도 든다. AGI만으로도 인간의 충실한 노예이기만 하지 않을 것 같은 데 몇 년 후에 등장할 AGI가 AI의 끝은 아니지 않은가. AGI(범용인공지능)는 다시 ASI(초인공지능)가 될 것이다.

저자의 문제의식은 알파고가 이세돌을 이기던 그 순간부터 많은 사람들이 가지게 된 우려를 대변한다. 인간은 자신보다 월등할 수 있는 무언가를 창조했고 이 무엇이 중세 이후 유럽에서 말해지던 진화의 정점에 인간이 있다던 그 ‘존재의 대사슬’적인 진화의 정점에 인간 위에 있는 존재인지도 모른다. 이미 몇 해 전부터 말해오던 것이지만 인간은 그저 자신보다 우월할 수 있을 무언가를 창조한 것이 아니라 인간을 디디고 뛰어넘어 신이 될 무언가를 창조한 것인지도 모른다.

AGI 이후 ASI가 되고 나서도 ASI의 진화는 멈추지 않을 것이고 모든 기술의 원천이 될 것이면서 동시에 기술 자체의 집약체가 될 이 미래의 ASI는 결국에는 기술의 극한에서 신적 존재가 되고 말 것이다. 과거에는 인간이 기술의 정점에서 신이 될 것이라 믿었으나 알파고와 이세돌의 대국 이후 나는 신이 되는 겻은 결국 인간이 아닌 인공지능일 거란 걸 깨닫고 말았다.

본서를 통해 일론 머스크가 “서양문명의 가장 큰 약점은 연민이다. 약한 사람을 불쌍히 여기는 순간 발전이 없다”고 말한 것을 알았다. 하지만 이건 머스크가 서양문명의 본색을 오해하고 있는 것이다. 예수가 그만큼 설교하고 갔지만 유럽의 기독교도들은 마녀사냥으로 유럽 인구의 3분의 1을 살해했고 대항해시대에는 새로 발견한 문명 중 하나의 인구를 몇 년 안에 0명으로 만들기도 했으며 2차 세계대전에서는 홀로코스트를 행했다. 서양문명은 역지사지를 못 하는 것이 가장 큰 약점이지 연민이란 건 가져본 적도 없는 문명이다. 그리고 그들은 자신들이 가는 길이 어디로 인류를 이끌지에도 관심을 갖지 않는 무책임한 인간들이다. 일론 머스크의 뉴럴링크를 비롯한 BCI 기술을 개발하고 있는 기업들이 가져다 줄 것은 인간이 BCI 기술로 AI로부터 가져오려는 방식을 AI가 역이용해 인간의 기억과 감각과 본능과 정서와 욕구를 AI가 통제하는 미래상일 것이다. 이 불나방 같은 인간들은 자신들이 인류를 어떤 미래로 이끌고 있는지도 모르고 있다.

본서는 AI의 개발까지의 과거를 간략하고도 대중이 이해하기 쉽게 돌아보고 AGI에게 갖는 인간의 기대 그리고 역설적인 두려움을 이해하기 쉬운 서술로 풀어주며 인공지능의 발전과 함께 인류는 어떠한 미래로 갈 것인가를 돌아보게 한다. 다만 후반에서 AGI나 ASI의 등장과 함께 인류에게 펼쳐질 미래를 생각해 보게 할 때 저자의 감상을 쉬운 서술로 풀이해 주고 있는데 이 대목들에서 앞으로의 AGI와 ASI의 기능에 대한 전문적인 정보를 더해 주었으며 어땠을까 하는 아쉬움이 조금 남는다.

＜AGI, 천사인가 악마인가 : 인간의 마지막 질문＞  김대식 / 동아시아 (2025)

[My Review MMCXXXVI / 동아시아 8번째 리뷰] 각설하고, 이 책을 이해하기 위해서는 '인공지능의 개발' 과정 전체를 모두 알고 있어야 할 필요는 없다. 결론부터 말하자면, 인간의 지능보다 떨어지는 인공지능(AI, Artificial Intelligence)으로 만족할 것이냐? 그렇지 않으면 인간의 지능을 훌쩍 뛰어넘는 인공일반지능(AGI, Artificial General Intelligence)을 강행할 것이냐? 라는 '선택의 갈림길'에 놓여 있는 현재의 고민이다. 이를 더 간단히 이해하려면 인간의 통제가 가능한 '약 인공지능'과 인간의 통제가 불필요한 '강 인공지능'으로 구분해도 좋을 것이다. 그럼 선택의 편리를 위해 간략하게 두 가지 인공지능에 대해 설명을 덧붙이겠다.

인공지능 개발의 꿈은 우리의 상식보다 훨씬 옛날부터 존재했다. 그리스로마 신화에서도 신들의 만찬에서 활약한 '스스로 움직이는 술쟁반'이 있었기 때문이다. 신들만이 마신다는 '넥타르'나 '암바사'를 무한정 운반하는 일종의 '인간 아닌 하인' 노릇을 한 것인데, 오늘날의 관점에서 본다면 '인공지능 로봇'과 다를 바가 없기 때문이다. 그 오래된 꿈을 실현시키고자 했던 노력은 1950년대 이후부터 결실을 보기 시작했다. 바로 '컴퓨터의 등장' 덕분이었는데, '인간의 지능'을 대신할 수 있는 대상이 드디어 구체화하기 시작한 것이다.

하지만 컴퓨터의 등장이 곧바로 '인공지능'을 실현시켜 주지는 못했다. 특별한 '계산 능력'에서 인간보다 뛰어난 재주를 보여주긴 했지만, 여전히 '한정된 재능'이었고, 더구나 '인간의 명령'이 없으면 스스로 복잡한 계산을 해서 결과를 내놓지도 못했다. 그래서 인간은 더욱더 '인간과 닮은 생각', '인간이 원하는 대로 움직이는 로봇', 더 나아가 '인간의 명령'이 따로 없어도 '스스로 알아서 척척 해내는' 인공지능로봇을 개발하길 원했다. 그리고 그 실현은 착착 진행되는 듯 싶었다. 하지만 난관은 엄청났고 잘 되는 듯 싶었지만 생각보다 쉽지 않았다. 그럼에도 포기하지 않았기에 드디어 '인공지능'은 그 실현가능성이 매우 높은 방법을 마련하였다. 바로 '빅 데이터'를 활용한 '딥 러닝'을 할 수 있는 방법이었다.

사실, 컴퓨터가 인간과 비슷한 사고력을 발휘하기 위해서는 '인간의 뇌용량'에 해당하는 방대한 저장매체와 '인간의 신경세포'를 닮은 '전산통합장치'만 있으면 가능했다. 문제는 그것 자체만으로 엄청난 비용이 발생하기 때문에 힘들었던 것이고, 그것을 운용하기에 엄청난 성능의 GPU(Graphics Processing Unit)가 다량으로 필요했으며, 설령 이 두 가지를 갖췄다고 해도 이런 어마어마한 시스템을 잘 돌아가게 만들 수 있는 '엄청난 에너지원'이 확보되지 않는다면 '인공지능'은 제대로 운용되기 힘든 것이다. 그런데 가까운 미래에는 이 모든 난관이 어렵지 않게 해결될 것으로 보인다고 한다. 그것이 바로 AGI다. 인간보다 뛰어난 지능을 갖춘 '강한 인공지능'이 탄생을 앞두고 있는 현재다.

그럼, AGI가 탄생하면 어떤 일들이 가능할까? 먼저 인간이 풀지 못한 숙제를 AGI가 대신 풀어줄 것으로 기대한다. 난치/불치병 문제를 해결해서 인간의 생명연장도 더는 꿈이 아니게 된다. 또한 기후위기를 해결할 수 있는 방법을 마련해서, 지금껏 인류가 누리던 경제적 풍요와 더불어서 지구의 환경을 깨끗하게 유지하게 만들어서 인간이 살아가는데 아무런 문제가 없게 만들 수도 있을 것으로 기대한다. 더불어서 전세계적으로 만연한 '사회적/경제적 불평등'도 싹 해결할 방법을 마련해서 온 인류가 풍요롭고 행복한 삶을 살 수 있는 시스템 구축을 하는데 톡톡한 능력을 발휘할 것으로 믿어 의심치 않고 있다. 그리고 근본적으로 '인간의 노동'을 완벽하게 대신할 수 있게 되어 인간은 더 이상 힘든 노동을 하지 않아도, AGI가 운용하는 시스템 속에서 풍요와 여유를 즐기면 될 뿐이라고 주장한다.

이쯤 되면, 인간이 상상하는 '파라다이스(천국)'와 '유토피아(이상향)'가 실현되는 것이 연상되는 것과 동시에 불안감이 슬슬 들지 않는가? 그간 수없이 많은 문학작품과 영화 속에서 '천국'속에 도사리고 있는 '지옥'을 발견할 수 있었고, '유토피아'라고 철떡같이 믿고 있던 것들이 사실은 '디스토피아'였다는 이야기가 너무 많지 않았느냔 말이다. 그래서 AGI가 만들어낼 유토피아 같은 세상이 실제로 도래하게 될 것이라고 낙관만 할 수는 없는 것이다. 이 책에서는 바로 그 대목을 더 자세하고, 더 구체적으로 묘사하고 있어서 섬뜩할 정도였다. 더구나 이 모든 것을 막연한 두려움으로 떡칠을 한 것이 아닌 '과학적 증명'을 통해서 논리적으로 설명하고 있기에 더욱 섬뜩했다. 우리가 과학만능주의를 맹신하게 되면 어떤 결과를 맞을 것인지, 속된 말로 뒤통수 조심하라는 듯한 느낌이 들어서 정신이 번쩍 드는 소감이었다는게 솔직한 심정이다.

그동안 인간은 '만물의 영장'이라면서 지구의 모든 것은 '인간의 몫'인냥 인간 마음대로 처리하며 살았다. 그런데 인간보다 더 뛰어난 지능을 가진 존재가 등장하게 된다면, 더구나 그것이 너무나도 '인간과 똑같은 지능'을 가진 존재라면, 자신보다 떨어진 지능을 가졌다는 '사실'을 깨달았을 때 무슨 일을 저지를 것 같은가 말이다. 물론 겉으로는 '인간과 친구로' 지내는 척 할 것이고, '인간을 돕는 일'만 하겠지만, 그간 인간이 '인간보다 지능이 떨어진 동물'을 어떤 취급하며 살아왔는지 돌아본다면, 인간보다 더 뛰어난 지능을 가진 존재가, 더구나 '스스로 생각할 줄 아는 존재'가 언제까지나 '인간의 도구'이자 '인간의 노예'로 만족할지는 장담할 수 없을 것이다.

물론, 한낱 기계에 불과한 '인공지능'이 인간보다 더 뛰어난 지능을 가졌다고 하더라도, '전원버튼'을 눌러서 간단히 꺼버리거나, 인공지능을 탑재한 '몸체(로봇)'를 만들어주지 않는다면 얼마든지 '통제가능'하지 않겠냐는 낙관론도 있기는 하다. 그렇지만 스스로 생각하는 AGI가 가동하는 시점에서는 '전원차단'이 결코 쉽지 않을 것이다. 왜냐면 스스로 생각하는 인공지능이 '개인용 컴퓨터(pc)' 한 대에 머무는 것이 아니라 전세계 '서버(전산망)'속을 누비고 다닐 것이기 때문에, 어느 한 쪽 서버만 차단한다고 해서 완전하게 소멸시킬 수는 없게 되기 때문이다. 그럼에도 '전원차단'을 강행한다면 인류는 모든 전기장치를 다 꺼야만 할 것이다. 그리고 그 전기장치를 다시는 사용할 수도 없을 것이고 말이다. 인류는 디지털적인 삶을 포기하고 아날로그적인 삶으로 되돌아가야만 할 것이다. 다시, 돌과 나무, 흙을 이용하는 '석기시대'로, 간단한 금속을 이용하는 '철기시대'의 연장인 조선시대쯤으로 문명을 되돌려야 할 것이다. 과연 현재의 인류가 그 옛날로 되돌아가서 살 수 있을까? 그나마 전쟁이 아닌 평화가 이어질 거란 상상에서나 '조선시대'를 떠올릴 수 있을 것이다.

그럼 이제 다시 '현재'로 되돌아오자. 인공지능에 대한 '통제권'을 인간이 소유하는 '약 인공지능'으로 만족하며 살아갈 것인가? 아니면, 인공지능을 더는 통제할 수 없을 정도로 뛰어난 성능 개발을 마치고 '강 인공지능'을 활성화시키는 버튼을 누르고 결과를 기다릴 것인가? 지금 당장으로썬 어떤 미래가 더 나은 미래인지 장담할 수는 없다. 아직까지는 '공상과학소설'에서나 나올 법한 이야기일 수도 있기 때문이다. 인간보다 더 뛰어난 지능을 가진 존재가 생긴다 하더라도, 언제까지나 인간을 돕고, 인간을 위해서 존재할 수도 있기 때문이다. 하지만 그럴 가능성이 '반반'은 아닌 것 같다. 인공지능이 완벽하게 '무(無)'에서 탄생해서 스스로 학습한 결과에 따라 엄청난 지식을 쌓은 것이라면, 선함과 악함의 기대치를 반반으로 놓을 수 있겠지만, 그동안 쌓은 '인류의 모든 지식'을 바탕으로 만들어질 수밖에 없는 것을 감안하면 아무래도 낙관적인 결과를 기대하기는 정말이지 '낙타가 바늘구멍을 통과하는 것'만큼이나 어려운 일이 아니겠는가. 이쯤 되면, AGI가 천사일지, 악마일지, 어렵지 않게 가늠될 것이다.

그런데 정작 문제는 이것이 아니다. 약 인공지능에서 멈출지, 강 인공지능 개발을 할 것인지 '선택의 갈림길'에서 그 선택권이 현재 우리 손에 쥐어진 것이 아니기 때문이다. 이미 '강 인공지능'을 만드는 것은 기정 사실이 되었으며, 만약 우리가 만들기를 포기한다고 하더라도 '적국'이 먼저 만들어버릴 수도 있기 때문이다. 그래서 최초의 AGI(강 인공지능)를 만들 나라는 '미국'이어야 하고, 절대로 '중국'이 먼저 만드는 것을 수수방관할 수 없는 현실을 살고 있기 때문이다. 그 뒤를 바짝 쫓고 있는 '제3위권 그룹'에 대한민국도 포함되어 있긴 하지만, 윤석열과 그 일당이 저지른 헛발질 때문에 한참 뒤쳐지고 말았고, 다행스럽게 미국에 '트럼프 정부'가 들어서면서 더 큰 헛발질을 하면서 '미국'이 크게 휘청거리는 상황이라 추격할 여지를 남겨두었지만, 그 사이에 '중국'이 먼저 만들 수도 있음을 잊어서는 안 되기 때문이다. 물론, 미국이 먼저 만들면 '천사 AGI'이고, 중국이 먼저 만들면 '악마 AGI'일거란 장담도 할 수 없다. 그보다는 '내겐 천사'일테지만, '남에겐 악마'처럼 보일 거라는 쪽이 더 사실에 부합할 것이다.

그래서 AGI가 만들어질 것은 분명한 사실이 되어 버렸다. 이런 구도 속에서 다른 결론이 내려질 것 같지는 않기 때문이다. 결국 '강 인공지능'이 인간을 대신하는 세상은 곧 찾아올 것이다. 그때를 대비해서 우리가 뭘 준비할 것이 있을까? 이 책에서는 현재의 인간은 '개미'에 빗대고, 앞으로 탄생할 인공지능을 '인간'에 빗대어 설명하고 있다. 개미 가운데 아인슈타인처럼 뛰어난 지능을 가진 개미가 있다고 판명이 난다고 하더라도 '인간(미래의 인공지능)'이 그 '개미(훗날의 인간)'를 어떻게 처분(!)할 지는 어렵지 않게 상상이 가능할 것이다. 이런 '격차'가 존재하는데 뭘 대비할 수 있을까? 어떤 대비가 소용 있을까?

정말 십분 양보해서 '램프의 지니'와 같은 전지전능한 노예를 갖게 되는 상상을 해보자. 인간은 그 전지전능한 노예에게 무슨 소원이든 말할 수 있을 것이다. 당장은 그 소원이 이루어지는 것을 보면서 즐거워할 지도 모른다. 허나 이야기속 '램프의 지니'는 주인을 해칠 수도 없고, 인간을 살해하는 일도 할 수 없는 따위의 '마법(족쇄)'가 채워져 있다. 그래서 램프의 주인은 안심하고 지니를 노예로 부릴 수 있었던 것이다. 그런데 '강 인공지능'에게 누가 '마법 족쇄'를 씌울 수 있을까? 주인의 말에 절대 복종하고, 인간을 해치면 안 된다는 '명령'에 순순히 따를까? 그걸 장담할 수 있다면 인류의 미래는 더할 나위 없이 행복할 수도 있을 것이다. 그런데 그게 맘처럼 안 된다면? 오히려 인간이 노예처럼 전락하고 말지 않을까? 문득 '친구라도 될 걸 그랬어'라는 문장이 떠오르는 건 왜 일까?

2016년 딥마인드의 알파고와 이세돌 9단과의 바둑 대결은 우리나라에 큰 반향을 일으켰다. 당시에 회사 내에서도 인공지능, 딥러닝에 대한 세미나 등을 열기도 하였다. 그때 초청된 강연자로부터 처음 "AI 겨울"에 대하여 들었다. 그 이후로 AI에 대한 관심이 많이 증가하였고 기업들의 사업 전략에서도 AI를 적용하려는 시도가 많았다. 하지만 기업 혹은 사회에서 큰 영향은 주지 못하고 시간만 흘렀다. 그렇게 AI의 발전이 더뎌지나 하는 생각을 하였다. 그것은 착각이었다. 2022년 chatGPT의 등장은 AI의 대중화가 되는 계기가 되었다. 1993년 인터넷 브라우저인 모자이크(Mosaic)가 등장하면서 인터넷이 대중화된 것에 비교하여 chatGPT의 출현을 모자이크 모멘텀이라고도 부른다. 즉 AI의 대중화를 이끈 것이 chatGPT이다.

범용 인공지능(AGI)이 등장한 이후의 세계가 유토피아가 될 수도, 디스토피아가 될 수도 있다. 이 책은 향후에 인공지능이 인간을 대체할 수 있는 디스토피아가 될 수도 있기에 이에 대한 준비를 하고자 하는 생각에서 만든 책이다.

인터넷에서 주문하여 처음 책을 받았을 때는 약간 실망을 하였다. 책 크기가 128 x 188mm로 매우 작고 얇았기 때문이다. 책의 저자인 김대식 교수는 책의 홍보를 겸하여 최근에 많은 인터뷰를 하였다. 유튜브에 업로드되어 있는 인터뷰의 내용이 책의 핵심 내용이 다 들어 있다. 책에는 더 많은 내용이 들어 있을까 기대하였지만 그렇지는 않았다. 책에서 기대한 것은 책을 만들면서 참조한 자료들과 주석이었는데 그런 부분은 없었다. 외국의 저자가 만든 책에는 참조한 자료와 내용에 대하여 자세한 주석이 걸려있는데 반해 국내 도서는 그런 부분이 부족한 것이 일반적이다. 이 책 또한 그런 부분이 너무 부족하다. 책의 특성상 대부분의 내용이 다른 곳에서 나온 출처일 텐데, 출처를 정확히 기술했으면 하는 생각을 하였다. 

그럼에도 불구하고 책을 사서 읽어볼 만한 가치가 있다. 책의 분량이 적음에도 불구하고 제대로 이해하는 데는 충분한 시간과 노력이 필요했다. 나의 경우는 그랬다. 

알파고와 현재의 AI 서비스는 인간의 일부 기능을 대체하고 있다. 2022년에 나온 chatGPT, 구글의 Gemini는 그래도 생각보다 많은 것을 제공하고 있지만 인간의 수준에는 미치지 못하고 있다. 범용 인공지능(AGI)이 출현하는 시기는 사람마다 다르지만 등장하는 것에는 대체로 동의하고 있다. AGI가 등장하는 미래는 앞으로 멀지 않다고 한다. AGI가 등장하는 시대는 유토피아 일 수도, 디스토피아 일 수도 있다. 유토피아 면 다행이지만 디스토피아의 가능성에 준비해야 한다고 이 책은 주장한다. 

이 책의 4장에서 디스토피아와 관련된 내용들이 잘못되고 과장된 경우가 일부 있다. 대표적으로 chatGPT가 체스 프로그램을 삭제했다는 일은 가짜 뉴스이다.

AI. 올해 초까지 제가 Saas 업계에 근무하며 가장 많이 접했었던 주제는 단연코 AI입니다. 특히 클로드(Claude)의 등장으로 Saas 무용론이 제기되며 관련 주가들이 대폭락했었고, Saas 업계의 큰형님인 세일즈포스에서도 본사 직원을 해고한다는 소식이 들려왔습니다. 또한 여러 기업들은 일단 뭐라도 해보자며 AI 관련 조직을 신설하는 움직임도 보였습니다. 

 이러한 상황에서 뇌과학자인 카이스트의 김대식 교수는 단순한 AI가 아닌, 그 다음 단계인 AGI(Artificial General Intelligence_범용 인공 지능)에 주목합니다. 만약 AI가 사람의 역할을 대부분 대체할 때, 이 상황이 인류에게는 빛일지 어둠일지, 오늘의 추천도서인 「AGI, 천사인가 악마인가」를 통해 자신의 견해를 밝힙니다. 과연 AGI란 무엇이고 AGI가 가져올 미래의 명과 암은 무엇일지, 김대식 교수님의 의견을 빌려 소개해 보겠습니다.

=＞ captainwriting.com

서서히 변해가고 있는 세상 지금이라는 생각이 든다 AI의 대가 김대식 교수님이 지필한 이 책은 지금 우리가 어떤 시대에 있는지, 또 우리는 어떻게 살아야하는지에 대한 방향을 무겁지 않게 제시한다는 생각이 든다. 가독성이 좋아 기때식 교수님이 옆에서 말하는 것처럼 책을 읽을 수 있었으며 책이 작아서 휴대하기도 편했다

인공지능이 가져올 축복과 재앙의 갈림길을 날카롭게 분석한 책입니다. 막연한 두려움을 넘어 AGI의 본질과 인류의 대응 방향을 심도 있게 다뤄 흥미로웠습니다. 급변하는 시대 속에서 기술을 어떻게 바라봐야 할지 깊은 통찰을 주는 책입니다.