『스케일링 시대』 한국어판 해제 - 한운희

『스케일링 시대』는 처음부터 밀도가 높은 책이다. 긴 소개 없이 논쟁 한가운데로 독자를 데려간다. 인터뷰 참여자와 에세이 필자까지 스물두 명이 저마다의 언어로 빠르게 논의를 밀고 나간다. AI의 흐름을 꾸준히 따라온 사람에게는 그 속도감이 매력이다. 그러나 이 담론을 처음 접하는 사람에게는 꽤 가파르고 복잡하게 느껴질 수 있다. ···
--- p.362

『스케일링 시대』는 외부인의 르포나 분석서가 아니다. AI 중심부에 있는 실제 플레이어들이 자신의 언어로 이야기하고 설명하고 논쟁한 기록물이다.
--- p.365

드와르케시 파텔

근본적으로 스케일링이 왜 통하는지 어떻게 설명할 수 있나? 충분히 넓은 데이터 분포에 커다란 연산량 덩어리를 던지면 그놈이 똑똑해지는 이유는 무엇인가?

다리오 아모데이(앤스로픽 최고경영자)

실은 우리도 아직 모른다. 거의 전적으로 우연한 경험적 사실에 가깝다. 데이터에서 감지할 수 있는 사실이기는 하지만 만족스러운 설명은 여전히 얻지 못했다.
--- p.33

데미스 하사비스(구글 딥마인드 공동 창업자이자 최고 경영자)

우리는 스케일링을 있는 힘껏 밀어붙여야 한다. 벽에 부딪힐지는 닥쳐봐야 아는 문제다. 아무도 모른다. 그동안 더욱 혁신에 몰두해야 한다. 우리가 한 노력 중에서 스케일링과 관계된 것은 절반에 불과하다. 나머지 절반은 다음번에 필요할 아키텍처와 알고리즘에 대한 투자여야 한다. 점점 크게 스케일링된 모델이 등장할 것이기 때문이다. 나라면 둘 다 필요하다는 쪽에 판돈을 걸겠다.
--- p.53

드와르케시 파텔

스케일링은 모델이 나아지는 주된 방법이다. 왜 효과가 있나? 어째서 애초에 이런 식인가?

재러드 캐플런(앤스로픽 공동 창업자)

스케일링은 우리가 발견한 관계다. 매개변수 개수를 늘리거나 더 많은 데이터로 훈련시키거나 훈련에 쓰는 총연산량을 증가시켜 AI 시스템을 더 크게 만들수록 규모에 따라 시스템 성능이 어떻게 변하는지 예측할 수 있는 추세가 나타난다.

자릿수가 어마어마하게 커져도 마찬가지다.
--- p.34~35

4장에서는 AI가 가하는 피해의 위험을 탐구한다. 아무도 의도하지 않은 오류인 사고, 인간 사용자의 악의적 행위인 오용, AI가 인간의 의도에 반하여 행동하는 오정렬 등으로 범주화할 수 있겠다. 아울러 위험을 줄이려는 현재와 미래의 시도들도 살펴본다.
--- p.117

드와르케시 파텔

인간 수준 AI에 도달하거나 넘어섰을 때를 어떻게 측정하는가? 당신이 언급했듯 다른 벤치마크를 쓸 수도 있고 다른 종류의 특성도 있다. 구체적으로 모델이 무엇을 해야 “좋았어. 이제 인간 수준이야”라고 말할 수 있나? 마인크래프트에서 모든 것을 깨야 하나? MMLU에서 100퍼센트를 받아야 하나?

셰인 레그(구글 딥마인드 공동 창업자이자 AGI 수석 과학자)

어떤 시험도 그럴 수 없다. 그게 일반 지능의 속성이기 때문이다. 저마다 다른 일을 여러 가지 할 수 있고 간극이 없으면 일반 지능에 도달했다고 확신해야 할 것이다.

몇 가지 매우 인상적인 범주의 일들을 인간 수준이나 심지어 그 이상으로 해낼 수 있는 시스템은 이미 있다. 나는 매우 포괄적이라고 느낄 만한 시험들을 총집합하고 싶다.
--- p.82

조 칼스미스(오픈 필랜스로피 선임 연구 분석가)

AI가 우리와 매우 다른 가치를 품고, 이미 매우 똑똑해서 돌아가는 상황을 알고, 그렇기에 우리의 훈련과 적대적 관계에 놓이는 상황이 결코 찾아오지 않길 바란다. 그런 상황을 피할 수 있으리라 생각한다. ··· 훈련이 모델에 주입하는 약물 같다고 말하기는 망설여진다. AI, 심지어 인간보다 다소 똑똑한 AI를 훈련시키는 여러 도구와 방안이 있다는 데는 대체로 동의한다. 하지만 정렬*에 필요한 만큼의 노력을 실제로 투입해야 한다.

*정렬Alignment: AI 시스템이 스스로의 목적을 추구하다가 해를 초래하지 않도록 하는 데 집중하는 AI의 하위 연구 분야. 의도된 정렬(intent-aligned)모델은 언제나 사람이나 집단이 의도한 목표를 달성하려고 노력하며 그들의 가치를 반영한다.
--- p.121

몇 년 사이 칩이 부족해지자 대부분의 내부자들은 GPU, 특히 몇백 배 빠르게 실행되도록 설계된 대형 AI 가속기 그래픽카드에 주목했다. 하지만 이 책을 쓰는 지금의 제약 요인은 다음번의 스케일업된 훈련 회차에 필요한 중앙 전력망이다. 이 때문에 업계의 최대 플레이어들은 AI 데이터센터 전용 신규 발전소 수백 기를 건설하는 방안을 모색하고 있다.
--- p.149

칼 슐먼(오픈 필랜스로피 외부 자문)

결국에는 인간 노동을 자동화할 수 있는지가 관건이다. 현재 경제 규모는 100조 달러인데 그 대부분이 임금으로 지급된다. 연간 50조~70조 달러 수준이다. AGI를 만들어내면 인간 노동을 모조리 자동화할 것이고 그 너머까지 확대될 것이다. 그러므로 완결된 프로젝트의 가치는 경제 전체를 쏟아부을 만하다. 인류에게 재앙적 파국을 일으키지 않는 훌륭한 버전의 모델을 얻는다면 말이지만.
--- p.160

딜런 파텔(세미애널리시스 수석 분석가)

AGI가 곧 무한한 인적 자원이라면 이론상 AGI의 투자 수익도 무한하다. 내가 마크 저커버그나 사티아 나델라라면 무한대의 수익을 얻을 것이다. 그곳에 맨 처음 도착한다면 말이다. 그러지 못하면 패배자가 되어 별다른 수익을 거두지 못할 것이다. ··· 모델이 향상되지 않는 순간 모든 게 수포로 돌아가겠지만 향상이 계속된다면 아랍에미리트나 사우디아라비아 왕자가 순자산 100억 달러를 AI에 쏟아붓지 않을 이유가 있겠나?
--- p.185~186

딜런 파텔(세미애널리시스 수석 분석가)

닷컴 버블 때의 투자 수준에 근접하지도 않았다. AI 버블이 크면 안 될 이유가 어디 있나? PC, 반도체, 메카트로닉스(mecha-tronics, 기계공학mechanics과 전자공학electronics의 합성어로, 두 기술을 응용해 어떤 목적에 적합한 시스템을 구성하는 기술‐옮긴이) 같은 과거의 거품을 생각해 보라. 왜 AI 거품이 더 커지면 안 되나?
--- p.188

조 칼스미스(오픈 필랜스로피 선임 연구 분석가)

우리는 인류의 지속적 권력 우위가 사실상 AI의 의도에 좌우되는 시점에 도달했다. AI의 선택에 휘둘리는 이 취약성이 우려스럽다. AI는 우리가 계속해서 자신들에게 권력을 행사하도록 할까, 아니면 다른 선택을 내릴까?
--- p.196

재러드 캐플런(앤스로픽 공동 창업자)

전반적 인간 수준의 지능 폭발을 한 기업이 좌지우지하게 해서는 안 된다는 데 전적으로 동의한다. 그보다 덜 강력한 시스템조차도 안 된다. 국가적·국제적 대화가 필요하다.

우리에게 시간이 많지는 않은 듯하다. 하지만 일정한 능력 수준을 넘어서는 시스템(이를테면 테러리스트의 생물무기를 훨씬 효과적으로 만들어줄 정도의 시스템)에 대해서는 어떻게 배포하고 어떻게 이용하고 누가 접근할지를 제약해야 한다.
--- p.219

드와르케시 파텔

AGI 이후의 미래가 어떤 모습일지 이야기해 보자.

일리야 수츠케버(세이프 슈퍼인텔리전스 공동 창업자)

AGI 이후 내가 무엇을 할 것이고 남들이 무엇을 할 것인가는 매우 까다로운 질문이다. 사람들은 어디서 의미를 찾을까? 하지만 AI가 도와줄 수 있는 질문이기도 하다. 나는 우리가 AGI와 상호작용하기 때문에 더 현명해질 수 있으리라 상상한다. AI는 우리가 AI와 상호작용함으로써 세상을 더 정확하게 보고 내면이 더 나아지도록 도와줄 것이다. 역사상 최고의 명상 스승과 대화한다고 상상해 보라.
--- p.221~222

레오폴드 아셴브레너(시추에이셔널 어웨어니스 공동 창업자)

AGI가 개발되면 아름답고 탈중앙화된 세상이 열리고 코딩 커뮤니티가 신나게 협력하리라는 생각은 착각이다. ··· 우리는 역사상 가장 강력한 무기에 대해 이야기하고 있다. 그렇다면 당신은 사기업 최고 경영자가 자애로운 독재자가 되는 데 극단적 내기를 거는 셈이다.
--- p.230

드와르케시 파텔

오용이 일어나지 않고 ‘올바른’ 사람들이 인간을 뛰어넘는 모델을 보유한다면 어떻게 되나? 누가 올바른 사람들인가? 지금부터 5년 뒤에 누가 모델을 통제하게 되나?

다리오 아모데이(앤스로픽 최고경영자)

솔직히 말하자면 아직도 알아내는 중이다. 이것저것 시도하고 덜 강력한 버전의 기술로 실험해야 한다. 늦지 않게 알아내야 한다. 하지만 미리 알 수 있는 종류의 문제는 아니다.