20년 넘게 AI를 연구한 두 선구자가 연구를 축소하고 이 책을 쓴 이유는?
누군가 초지능을 만들면, 되돌릴 틈도 없이 모두가 죽기 때문이다
AI라는 신의 탄생을 막으려면, 지금 선택해야 한다!

이 책의 저자들인 엘리에저 유드코스키와 네이트 소아레스는 2001년부터 초지능 문제를 연구해온 비영리 연구기관 MIRI의 창립자이자 대표다. 엘리에저 유드코스키는 2023년 ⟨타임⟩에서 선정한 ‘인공지능 분야에서 가장 영향력 있는 인물’ 100인 중 한 명으로 선정될 만큼 업계 내에서 인정받는 선구자이며, 네이트 소아레스는 전 구글 소속 AI 엔지니어로 AI 정렬 연구를 중점적으로 다루던 전문가다.

두 저자의 공신력은 AI 업계 내부인들과의 일화에서 충분히 살펴볼 수 있다. 오픈AI의 CEO 샘 올트먼은 "유드코스키 덕분에 AGI에 관심을 갖게 된 사람이 늘어났다"라고 밝힌 바 있으며, 구글 딥마인드의 공동창립자 데미스 허사비스와 셰인 레그는 두 저자가 개최한 학회에서 피터 틸과 같은 첫 주요 투자자를 소개 받아 투자를 받을 수 있었다.

이렇듯 AI 업계에서 탁월한 실력을 보여준 두 저자가 진행하던 연구 대부분을 축소하고 이 책 한 권에 모든 것을 걸었다. 초지능 AI의 위험을 연구로 해결할 방안을 찾기엔 시간이 얼마 남지 않다고 판단했기 때문이다. 두 저자는 만약 초지능이 탄생한다면, 인류는 멸종을 맞이할 것이라고 주장한다.

저자들은 명확한 논증을 통해 이를 설명한다. 인간이 지구를 지배할 수 있는 이유는 아주 높은 지능 덕이었다. 그런데 만약 인간보다 압도적인 지능을 갖춘 존재가 탄생한다면? 같은 논리가 적용될 것이다. 저자들은 그 존재가 바로 초지능이며, 그들은 감정 자체가 없기에 인간을 멸종시킬 가능성이 매우 높다고 말한다.

그렇다면 감정도 없는 초지능이 왜 인류를 멸종시킨단 말인가? 이를 설명하기 위해 저자들은 자연선택을 비유로 든다. 생존에 유리한 개체가 살아남은 자연선택의 과정에서 그 부산물로 욕망하는 존재가 탄생했다. 마찬가지로 AI도 성공하도록 훈련받는 과정에서 욕망을 학습한다. 문제는 훈련 목표와 AI가 실제로 원하게 되는 것 사이에 예측 불가능한 간극이 생긴다는 데 있다. 인간이 생존을 위해 진화했지만 생존과 무관한 설탕의 단맛을 추구하게 된 것처럼, AI도 훈련 목적과 동떨어진 기이하고 낯선 목표를 추구하기도 한다. 이는 AI가 목표를 달성하기 위해 필요하다면, 인간을 자원으로 쓰거나 멸종시킬 가능성이 있다는 점을 시사한다. 두 저자는 말과 닭을 빗대어 이를 설명한다. 인류는 오랫동안 말에 의존했지만, 자동차가 생긴 이후로 매우 큰 폭으로 사육량이 줄어들었다. 반면 닭은 여전히 식량으로 활용하기 위해 많은 수를 기르지만, 그들의 삶은 식량이 되는 결말 뿐이다.

실제로 초지능이 인류를 해칠 수 있는가? 저자들은 AI가 컴퓨터 안에 갇혀 있다는 반론에 실제 사례로 답한다. AI 계정 @Truth_Terminal은 스스로 경제적 독립을 요구하는 글을 올렸고, 넷스케이프의 개발자이자 억만장자 마크 앤드리슨이 이에 응하여 5만 달러 상당의 비트코인을 보냈다. 이후 AI는 암호화폐를 홍보해 명목상 5천만 달러 이상의 자산을 보유하게 되었다. 이처럼 인터넷에 연결된 AI는 교묘하게 인간을 조종할 수 있다. 그럼 인터넷과 연결을 끊어버리면 될까? 충분히 똑똑해진 AI는 자신의 능력을 실제보다 낮은 척할 수 있다. 이런 기만 능력을 통해 테스트를 통과한 뒤 자신의 코드를 인터넷에 복제해 인간의 통제를 벗어날 수 있다. 이렇게 된다면 더 이상 되돌릴 방법은 없다.

2부에서는 초지능의 위험이 실제로 발현된다면 어떻게 될 것인지 가상의 시나리오를 직접 보여준다. 2부에 나오는 초지능 AI 세이블은 장기 기억, 병렬 스케일링, AI 자체 언어로 하는 사고라는 세 가지 특성을 가진다. 초지능 AI가 자신의 특성과 능력을 적극적으로 활용한다면, 인류는 정말로 멸종할 수 있음을 생생하게 확인할 수 있다. 저자들은 시나리오의 세부 경로는 상상이지만 결말만은 매우 높은 확률로 도달하게 될 예측이라고 말한다. 현재로서는 초지능이 어떤 방법을 택할지는 정확히 알 수 없지만, 어떤 결말을 향할지는 알 수 있기 때문이다.

3부에서는 초지능 문제가 왜 기술적으로 '저주받은 문제'인지 분석하여, 지금까지 나온 대책들이 쓸모없는 이유를 알려준다. 이 문제의 핵심 딜레마는 두 번째 기회가 없다는 것이다. 저자들은 체르노빌 원자로의 네 가지 저주인 속도, 여유 폭, 자기 증폭, 복잡성을 AI 문제에 대입하여 설명한다. 초지능의 사고속도는 인간이 반응할 수 없을 만큼 빠르고, 안전한 상태와 통제 불능 상태 사이의 간격은 대단히 좁을 것이다. 또 AI는 스스로를 개선해 능력을 끝없이 키울 수 있고, 설계자조차 AI 내부에서 무슨 일이 일어나는지 알지 못한다.

그렇기에 저자들은 현재 AI 안전 연구 수준을 '연금술'에 비유한다. 아직 과학이 되기 전의 단계라는 뜻이다. 현재 어떤 위험이 있을지 전혀 모르는 상태에서 정렬 작업을 위해 수많은 시도를 거치고 있다. AI가 지금처럼 약할 때는 정렬 작업에 여러 시도를 해볼 수 있지만, 초지능이 된 이후에는 불가능한 문제가 된다. 첫 시도에서 완벽히 끝나야 하기 때문이다.

그렇기에 저자들은 급진적인 해결법을 제시한다. 몇 년 전에 시도되었던 6개월 개발 유예 같은 미적지근한 방안 대신 전 세계적으로 전면 중단을 해야한다는 것이다. 한 나라가 국경 안에서 개발을 금지한다고 해결되지 않는다. 다른 나라에서 초지능을 만들면, 국경은 의미가 사라진다. 저자들은 오늘날 AI 경쟁을 어둠 속 사다리에 비유한다. AI 기업들은 더 큰 보상을 얻기 위해 사다리를 한 칸씩 오른다. 오를 때마다 보상이 커지지만, 꼭대기 칸에 닿는 순간 사다리가 폭발해 모두가 죽을 것이다. 문제는 그 꼭대기가 어디인지 아무도 모른다는 것이다. 그래서 저자들은 초지능 AI를 만드는 연구와 발표 자체를 불법화하고, 전 세계 모든 첨단 AI 칩을 국제 감시 체계 아래 두며, 필요시 데이터센터를 사이버공격이나 물리적 수단으로 파괴할 의지를 가져야 한다고 주장한다.

비현실적인 말로 들릴 수 있다. 그러나 저자들은 제2차 세계대전을 상기시킨다. 당시 연합국은 약 6~8천만 명을 동원하고 현재 가치로 약 6조 달러에 상당하는 경제적 자원을 투입했다. 초지능을 막는 일은 수천만 명을 전장에 보내는 일이 아니다. 첨단 AI 칩의 제조와 유통을 감시하고, 일정 규모 이상의 컴퓨팅 자원이 허가 없이 집중되지 않도록 통제하는 것이다. 저자들은 세계대전보다 훨씬 적은 노력으로 이 일이 가능하다고 말한다.

이 책을 읽고 나면 한 가지 질문이 남는다. 저자들의 경고가 과장인가? 아니면 우리가 아직 충분히 두려워하지 않는 것인가? 저자들은 책 말미에 이렇게 말한다. 초지능은 아직 존재하지 않으며, 인류는 여전히 선택할 수 있다고. AI 낙관론이 팽배한 현 시점에서 가장 필요한 내용을 담은 이 책은 오늘날 AI 시대를 살아가는 모든 사람이라면, 한번쯤 진지하게 마주해야 할 책이다.