인류는 오랫동안 사람의 뇌를 모방한 기술을 개발하려 노력했고, 그 결과가 바로 인공지능(artificial intelligence, AI)입니다. 인공지능을 이해하려면, 모든 분야를 깊이 파고들 필요는 없지만 인공지능 발전의 기초가 되는 지식을 알아두면 좋습니다. 이를 통해 인간 지능의 진화 과정과 미래 방향을 더 잘 이해할 수 있기 때문이죠. 대표적으로 자연 지능(natural intelligence, NI)과 인간 지능(human intelligence, HI)에 대해 이야기할 수 있습니다. 인간지능은 다양한 의미로 해석이 가능하지만 본문에서는 ‘인간이 문제를 해결하는 능력’을 인간지능으로 해석의 폭을 규정하겠습니다.
--- p.3

챗봇은 기존의 방식처럼 단순히 정보를 보여주는 것을 넘어, 사용자가 대화라는 자연스러운 방법으로 정보를 탐색하고 얻을 수 있도록 돕습니다. 또한, 챗봇은 초기 개발 상태에 머무르지 않고 지속적인 관리와 업데이트를 통해 점차 제공하는 정보의 범위를 확장합니다.
--- p.78

자연어는 어떻게 처리될까요? 여기서 ‘처리’라는 단어는 매우 넓은 의미를 포함하고 있습니다. 차근차근 해결하기 위해 상황을 쪼개서 바라봅시다. 일반적으로 사용자가 질문을 하고, 프로그램이 답변을 제공하는 순서로 이루어집니다. 프로그램을 개발하는 입장에서는 첫 번째로 사용자의 질문을 정확히 이해(understanding)하고, 두 번째로 그 질문에 적절한 답변을 생성(generation)하는 작업이 필요하겠군요. 여기서 ‘이해’와 ‘생성’이라는 키워드가 중요해보입니다.
--- p.125

여기서 우리는 두 가지 중요한 교훈을 얻을 수 있습니다. 첫 번째는 더 나은 결정을 내리기 위해서는 데이터가 필요하다는 점입니다. 생환한 전투기의 총탄 흔적을 기록하여 활용한 부분이 바로 데이터를 수집하는 과정입니다. 두 번째는 수집된 데이터에서 유의미한 데이터를 골라내어 결정을 내리는 것입니다. 이처럼 생환 여부와 같이 무서운 예시를 통해, 잘못된 데이터의 수집과 활용이 얼마나 치명적일 수 있는지 알 수 있습니다. 이 이야기는 데이터의 중요성을 뇌리에 깊이 새기게 합니다.
--- p.131

LLM의 문장 생성 원리는 비유하자면 ‘다음 단어 맞히기 게임’과 같습니다. 하나의 문장이 입력되면 모델은 그 문맥이 내포한 의미와 흐름을 분석하여, 통계적으로 가장 적합한 단어를 확률적으로 계산해 이어 붙입니다. 이 단어 예측 과정을 수백, 수천 번 반복하면서 단어가 문장을 이루고, 문장이 쌓여 하나의 단락이 형성되며, 결국에는 완결된 글이나 자연스러운 대화가 탄생합니다.
--- p.315

이번 장에서는 한국어 GPT2 모델인 skt/kogpt2-base-v2를 기반으로, 간단한 예시 대화 데이터셋을 이용해 초경량 한국어 챗봇을 직접 만들어보는 실습을 진행합니다.1 구글 코랩에서 제공하는 무료 GPU 환경을 활용하며, transformers, datasets, accelerate 라이브러리를 통해 모델 로딩, 데이터 전처리, 학습, 저장, 추론까지의 전체 파이프라인을 직접 구현하겠습니다.