많은 사람이 챗GPT가 글로벌 기업의 판도를 크게 바꾸고 새로운 시대를 열 것으로 기대하고 있습니다. 과학철학자 토머스 쿤은 저서 《과학 혁명의 구조》에서 기존의 틀을 뛰어넘는 패러다임이라는 개념을 제시했는데, 챗GPT가 바로 새로운 패러다임의 시작이 될 것이라고 보는 시각이 많습니다. 수많은 전문가들은 생성형 인공지능 기술이 상상하지 못했던 방식으로 일상과 사회를 변화시킬 것이라고 전망하고 있습니다.
--- 「제1장 인간을 능가하는 GPT-4」 중에서

오픈AI가 만든 GPT는 전형적인 형태의 언어 모델이었습니다. 7,000여 권의 책을 학습했고 매개변수는 버트와 비슷한 1억 1,700만 개 정도였죠. 초기에는 쓰임새가 애매했습니다. 그저 문장을 생성하기만 하는 모델은 마땅한 용도를 찾기 어려웠거든요. 1년이 채 지나지 않아 오픈AI는 GPT-2를 발표합니다. 무엇보다 놀라운 점은 매개변수가 15억 개로 지난 버전보다 10배가 더 커졌다는 점입니다. 학습 데이터도 덩달아 10배가 더 커졌죠. 그 이듬해에 나온 GPT-3는 더욱 대단해졌습니다. 매개변수가 1,750억 개로 이전 버전보다 무려 100배나 더 커졌죠. 이때부터 각 기업들의 모델 크기 경쟁이 본격적으로 벌어지기 시작합니다. 모델이 커지니 여러 작업에서 좋은 성능을 낸다는 논문이 하나둘 나오기 시작했고, 심지어 창발성(느닷없이 나타나는 능력)이 생긴다는 논문도 나왔죠. 모델이 작을 때는 일어나지 않던 일들이 일정 수준의 크기를 넘어서자 갑작스럽게 똑똑해졌다는 거죠. 가르치지 않았던 지식도 척척 풀이해내는 알 수 없는 성능을 내기 시작합니다. 그러면서 점점 GPT에 대한 기대감도 한층 높아졌습니다. 그리고 드디어 우리가 잘 아는 챗GPT가 2022년 11월 세상에 모습을 드러냅니다. 챗GPT는 세상에 엄청난 파란을 불러일으킵니다. 2023년 3월에는 더욱 놀라운 성능의 GPT-4가 등장하면서 세상은 바야흐로 진정한 인공지능의 시대에 돌입합니다.
--- 「제3장 챗GPT를 완성한 비밀 레시피」 중에서

LLM의 가장 큰 혁신은 사람의 개입 없이 엄청나게 많은 텍스트를 학습하기만 하면 된다는 점이었습니다. 인류가 지금까지 축적한 무수히 많은 정보를 별도의 가공 없이 그대로 학습하면 사전 학습 모델이 완성된다는 점이었죠. 만약 데이터에 일일이 정답을 달아야 했다거나 별도 카테고리로 분류해야 했다면 지금의 LLM은 탄생할 수 없었을 거예요. … 그중 가장 단순하면서 효과가 좋았던 방식이 스탠퍼드대학교의 연구팀에서 제안한 DPO입니다. DPO는 인간의 선호도를 직접 반영하는 최적화 방법입니다. 우리말로 풀이해보면 ‘직접적인 선호도 최적화’ 정도가 되죠. DPO는 복잡한 과정을 단순화하고 효율성을 높이는 데 많은 기여를 하고 있죠.
--- 「제4장 초거대 모델 최적화 기술」 중에서

o1은 마치 프롬프트 엔지니어링을 잘한 것처럼 동작하는 모델입니다. o1은 생각하는 과정을 도입해 프롬프트를 단계적으로 고도화합니다. 첫 번째 응답에서 프롬프트를 보완하고 다시 질문하며, 다시 그 응답을 이용해 프롬프트를 좀 더 보완하는 식이죠. 이런 식으로 여러 단계에 걸쳐 프롬프트를 계속 고도화하고 최종적으로 가장 좋은 답변을 도출해냅니다. 그러니까 원래는 사람이 하던 프롬프트 엔지니어링을 모두 자동화해서 처리하는 것과 비슷하죠. … 더 좋은 답변을 이끌어내기 위해 생각하는 과정을 두고, 이 과정에서 다양한 가능성을 탐색하죠. 스스로 반론도 제기하면서 반대 입장의 의견도 유심히 검토합니다. 무엇보다 이 모든 과정을 더 이상 사람이 진행하지 않습니다. 모델이 추론 과정 중에 자동으로 진행하죠.
--- 「제5장 프롬프트 엔지니어링의 마법」 중에서

여러 인공지능 스타트업의 기업가치를 잠깐 살펴봅시다. 오픈AI가 부동의 1위입니다. 창업한 지 9년 남짓한 스타트업에 불과하지만 기업가치가 우리 돈으로 430조 원이 넘습니다. 여전히 조 단위 적자를 내고 있고 아직 상장도 하지 않은 스타트업인데 이 정도입니다. 2위는 앤트로픽입니다. 여기는 오픈AI 출신들이 만든 회사죠. 오픈AI에 버금가는 경쟁력을 갖춘 회사라는 평가를 받고 있습니다. 3위는 일론 머스크의 xAI입니다. 오픈AI와는 격차가 있지만 어쨌든 우리 돈으로 70조 원이 넘는 기업가치를 지닌 유니콘이 됐습니다. 오픈AI를 처음 설립한 것도 일론 머스크였으니 단 한 명이 인공지능 업계에 끼친 영향력이 정말 엄청납니다. 그리고 지금까지 언급한 모든 회사가 미국 회사입니다. 1, 2, 3위 업체가 모두 실리콘밸리에 위치해 있죠. 미국은 경제적으로 전무후무한 세계 1위의 대국이자, 유럽과는 그 격차가 나날이 커지고 있는 초강대국입니다.
--- 「제6장 1,000조 시장을 향한 글로벌 기업들의 경쟁」 중에서

엔비디아는 일찍이 게임 외에도 다양한 분야에 GPU가 쓰이길 바랐습니다. 그리고 GPU가 더 범용적으로 활용될 수 있는 새로운 프로그래밍 모델을 연구하기 시작하죠. 2006년, 드디어 CUDA라는 플랫폼이 탄생합니다. 엔비디아는 CUDA를 이용해 평소 익숙하게 사용하던 C++ 언어로 GPU 코딩하는 길을 열어줬습니다. 더 이상 용도별로 구분된 유닛이 아니라 통합 아키텍처를 통해, 그것도 평소 연구에 사용하던 언어를 이용해 자유롭게 코딩할 수 있게 된 것이죠. 덕분에 과학기술 연구자들이 쉽게 GPU에 접근할 수 있게 됐습니다. … 2009년에 스탠퍼드대학교에서 드디어 인공 신경망에 GPU를 도입하는 실험을 처음으로 진행합니다. 이때 논문에서 밝히기를 무려 70배나 더 빠르게 학습할 수 있었다고 밝혀 전 세계 수많은 연구자들을 깜짝 놀라게 합니다. 이때를 기점으로 엔비디아의 새로운 역사가 시작됩니다. 이후 너나 할 것 없이 인공지능 연구에 GPU를 도입하기 시작하죠. GPU를 이용하면 기존에 비해 수십 배 더 빠르게 처리되니 쓰지 않을 이유가 없었습니다. 인공지능 분야에서 계속 좋은 연구 성과가 나오기 시작하고, 덩달아 GPU도 인공지능을 대표하는 장비로 자리매김합니다. 이 모든 게 연구자들이 손쉽게 GPU 코드를 작성할 수 있도록 해준 CUDA 플랫폼의 위력 덕분이었습니다.