컴퓨터, 인터넷, 스마트폰, 카카오톡 등의 메신저, 동영상 플랫폼, SNS, 넷플릭스 등의 OTT 서비스가 나타나기 전과 후의 세상이 완전히 다른 것은 아니다. 지금 이 기술과 서비스들을 이용하지 않는 사람들도 있고, 이를 이용하지 않는다고 해서 많은 일들이 불가능한 것은 아니다. 하지만 이 기술과 서비스에 자주 노출되고 사용하면서 자연스럽게 익숙해지면 좀 더 편리해지는 일들이 생긴다. 생성형 AI도 작정하고 긴 시간 동안 배워야 하는 매우 거창하고 어려운 기술이라고 생각하기보다는 우리가 그동안 자연스럽게 받아들였던 기술과 서비스들 중 하나일 뿐이라고 생각하고 접근하는 것이 좋다.
--- p.34

챗GPT와 기존 AI 서비스들의 근본적인 차이는 챗GPT의 경우 채팅창에서 사용자의 질문을 받은 후 이 질문에 맞는 답변을 생성할 때 대규모 언어 모델이라는 AI 기술을 활용한다는 것이다. 우리가 통칭해서 생성형 AI라고 부르고 있는 AI 기술 또는 서비스의 본질은 대규모 언어 모델이다.
--- p.38

기계학습과 경쟁하고 있는 AI 기술의 다른 한 분야는 전문가시스템이다. 우리가 언어를 배우는 과정을 예로 들어 설명하겠다. 전문가시스템은 문법 위주로 언어를 가르치는 학원에 등록하여 해당 언어에 능숙한 선생님에게 언어를 배우는 것과 같다. 전문가시스템은 언어 분야에 대한 전문성이 있는 전문가의 지식 체계와 사고방식, 논리를 AI에 심어주는 방식으로 AI를 똑똑하게 만든다. 이런 방식으로 언어를 배우면 매우 빠르게 해당 언어에 대한 기본적인 이해와 능력을 습득할 수 있듯이 전문가시스템으로 AI를 개발하면 처음부터 AI 성능을 기본적인 수준까지 끌어올릴 수 있다는 장점이 있다. 하지만 문제가 있다. 우리가 영어를 어려서부터 어른이 될 때까지 수십 년간 공부해도 쉽사리 능숙해지지 않는 것처럼 전문가시스템으로 AI를 개발하면 시간이 지나도 AI 성능이 높은 수준까지 발전하지 않을 가능성이 크다는 것이다.
--- p.46

일부에서는 기계학습에 필요한 빅데이터를 클라우드에 저장하면 자체 서버 안에 저장하는 것보다 보안이 더 취약해진다고 오해한다. 자신들에 관한 빅데이터가 다른 회사의 클라우드에 저장되는 상황이 정서적으로 불편하게 느껴질 수 있다. 하지만 보안 사고의 대부분은 내부 직원, 퇴사자, 협력업체 직원 등 내부인과 관련되어 벌어진다는 것을 간과해서는 안 된다. 또한 자체 서버에 기계학습에 필요한 빅데이터를 저장한다고 해서 보안이 더 강력해지는 것은 아니다.
--- p.52

기계학습에서는 누가, 어떤 문제를 해결하려고 하는지를 먼저 파악하고, 이 문제를 해결하기 위해서 AI 모델이 무엇을 어떤 수준의 성능으로 예측하거나 추천할지를 결정한다. 그다음 목표로 정한 성능에 맞게 AI 모델이 예측과 추천을 할 수 있도록 성능을 기계학습으로 끌어올린다. 10개의 회사가 각각 10개의 문제를 가지고 있다면 10×10=총 100개의 AI 모델이 필요하다. 기계학습을 활용할 때는 문제를 해결하고자 하는 주체에 따라서, 그리고 풀어야 하는 문제에 따라서 매번 다른 AI 모델을 새로 만들어야 한다. 이런 접근의 비효율성을 극복하기 위한 대안이 초거대 AI다.
--- p.64

AI 학습용 데이터를 확보한 이후에도 기계학습으로 AI 모델을 개발하는 과정이 필요하다. 대규모 언어 모델을 활용하는 것은 AI학습용 데이터를 만들어서 AI 모델을 개발하는 일까지 끝난 모델을 선택해서 활용한다는 의미이기 때문에 기계학습으로 문제를 푸는 것보다 당연히 시간, 비용, 예산을 절감할 수 있다.해결해야 하는 문제가 대규모 언어 모델로 풀 수 없을 만큼 매우 특수한 분야라면 상대적인 비효율을 감수하고 기계학습을 사용해야 하지만, 그렇지 않다면 대규모 언어 모델을 사용하는 것이 현재의 AI 개발 트렌드다.
--- p.72

대규모 언어 모델을 주기적으로 학습시키고 만들기 위해서는 AI모델을 학습시킬 때 사용되는 AI 반도체가 필요하다. GPT라는 대규모 언어 모델을 사용하여 챗GPT라는 초거대 AI에 해당하는 AI서비스를 만든 사례를 생각해보자. 챗GPT AI 서비스를 만들기 위해서는 챗GPT의 목적에 맞게 GPT라는 대규모 언어 모델을 끊임없이 학습시켜서 성능을 끌어올려야 하고, 이 과정에서 오픈AI는 AI 반도체를 사용했다.
--- p.81

AI 모델을 학습시키기 위해서는 방대한 데이터를 수집하여 가공해야 하는데, 이 과정에서 필연적으로 개인 정보에 관한 문제가 발생한다. 또한 이런 과정을 통해서 학습된 AI 모델이 인간의 기존 편견을 강화하여 인종차별, 사회적 약자에 대한 차별이나 혐오를 조장하거나 강화하는 데 악용될 수 있다. AI와 관련한 윤리적 이슈에 대해서는 이미 많은 우려와 논의가 진행되고 있다. 이 부분들은 옳고 그름으로만 볼 것이 아니라, AI를 개발하고 활용하는 과정에서 발생하는 사회적 비용으로 볼 필요가 있다. AI를 개발하고 활용하는 주체가 사회적 비용을 부담하고, 궁극적으로 이와 같은 사회적 비용을 최소화하는 방향으로 스스로 노력하도록 유도해야 한다.
--- p.96

대규모 언어 모델이 결과를 만들어내는 방식은 수많은 동화의 내용들을 적절하게 섞어서 그럴듯한 동화를 만들어내는 것과도 비슷하다. 프로야구 중계 캐스터와 해설자가 3시간이 넘는 시간 동안 말 한 마디마다, 한 단어마다 신중하게 고민하면서 얘기한다면 체력과 집중력이 바닥나서 경기가 끝날 때까지 대화를 이어갈 수 없을 것이다. 중계 캐스터와 해설자가 경기 진행 상황을 실시간으로 보며 그동안의 경험 속에서 연관되는 얘기들을 자연스럽게 끄집어내면서 이야기를 이어나가야 체력과 집중력을 소진하지 않을 수 있다.
--- p.122

대규모 언어 모델은 책, 논문, 인터넷에 존재하는 웹페이지 등 수많은 언어로 표현된 데이터들을 가리지 않고 수집하여 학습시킨 AI모델이기 때문에 마치 초벌구이가 되어 있는 고기와 같다. 초벌구이가 되어 있기 때문에 어느 정도는 익은 상태이고 바로 먹는 데는 지장이 없다. 그런데 사람마다 고기를 굽는 정도가 다르고, 양념을 바르거나 소금을 뿌리는 등 각자의 기호에 따라 맛을 더하기 위해서 선택적으로 할 수 있는 일들이 다르다. 이처럼 초벌구이가 되어 있는 고기를 가져와서 각자의 취향에 맞게 더 굽거나, 양념이나 소금, 향신료 등을 더하는 과정이 바로 전이 학습(Fine Tuning)이다. --- p.124

잘 익은 김치를 촬영한 사진을 모으고, 덜 익은 김치를 촬영한 사진을 모은다. 이렇게 확보한 김치 사진들을 익은 김치 사진과 덜 익은 김치 사진으로 레이블링(분류)한 후 AI 모델을 학습시키는 데 유용하게 활용할 수 있는 형태로 만든다. 이렇게 만든 AI 학습용 데이터로 AI 모델을 반복적으로 학습시킨다. 학습이 완료된 AI 모델에 새로운 김치 사진을 입력하면 익은 김치 또는 덜 익은 김치라는 결괏값을 만들어낸다. 이 결괏값을 가지고 김치냉장고나 일반 냉장고에 넣고 먹어도 되는지, 상온에서 좀 더 익히면 좋은지 알려주는 AI 서비스를 만들면 된다.
--- p.136

AI 개발자는 대규모 언어 모델을 직접 다루며 만들고, 보통의 사용자들은 대규모 언어 모델을 기반으로 만들어진 AI 서비스를 이용한다. 사용자가 대규모 언어 모델을 사용한다는 것은 정확하게는 대규모 언어 모델을 기반으로 만들어진 AI 서비스를 이용한다는 뜻이지만, 이제부터는 사용자가 대규모 언어 모델을 기반으로 만들어진 AI 서비스를 이용하는 것이 곧 대규모 언어 모델을 이용하는 것과 같다고 전제하겠다.
--- p.143

정리하면, AI 공급자 입장에서는 자신이 만들려고 하는 AI 서비스에 필요한 AI 모델이 비용을 지불하고 사용할 수 있는 유료 AI 모델 중에는 없고, 초거대 AI를 직접 만들 만큼 자원이 충분하지 않으며 기계학습으로 AI 모델을 만들어야 할 만큼 해결해야 하는 문제가 특수하지 않다면 대규모 언어 모델이 필요하다.
--- p.161

대규모 언어 모델을 기반으로 만들어진 AI 서비스를 사용하는 입장에서는 프롬프트 엔지니어링을 익히고 연습하는 것이 중요하다. 프롬프트 엔지니어링(Prompt Engineering)에서 말하는 프롬프트는 대규모 언어 모델을 기반으로 만들어진 AI 서비스에 사용자가 연속적으로 하는 질문이나 요청을 말한다. 프롬프트 엔지니어링의 목표는 프롬프트를 구성하는 단어나 문장, 문법, 문맥 등의 다양한 요소를 고려하여 대규모 언어 모델이 질문이나 요청에 더 효과적으로 대답할 수 있도록 최적의 프롬프트를 생성하는 것이다.
--- p.169

앞으로는 반려동물을 키우는 것처럼 자신만의 대규모 언어 모델을 키운다고 인식하는 사람들이 늘어날 것이다. 특정한 문제를 해결하는 데 최적화된 기계학습으로 만든 AI 모델에 의미나 인격을 부여하기는 어렵지만, 대규모 언어 모델은 기본적으로 인간과 대화할 수 있고, 사용자와 상호작용을 통해서 변화하고 발전하는 것을 체감할 수 있기 때문에 반려동물처럼 의미를 부여하기가 훨씬 용이하다.