소득공제
ChatGPT 원칙과 실습
대규모 언어 모델의 알고리즘과 나만의 모델 구축
- 베스트
- 공학계열 top100 4주
이미 소장하고 있다면 판매해 보세요.
- 국내배송만 가능
- 문화비소득공제 가능
이 분야의 이벤트
상세 이미지
책소개
목차
|
1장. ChatGPT에 대해 알아보기
1.1 ChatGPT의 탄생 2 1.1.1 ChatGPT란? 2 1.1.2 ChatGPT의 역사 3 1.2 ChatGPT 작업 흐름 4 1.3 ChatGPT 사용 사례 5 1.3.1 일상 작업 5 1.3.2 코드 작성 8 1.3.3 텍스트 생성 11 1.3.4 사무 자동화 16 1.4 요약 18 2장. ChatGPT 동작원리 19 2.1 배경 지식 20 2.1.1 자연어 처리의 발전 과정 20 2.1.2 대규모 언어 모델의 발전 과정 24 2.2 ChatGPT 유사 제품 30 2.2.1 BlenderBot 3.0 30 2.2.2 LaMDA 33 2.2.3 Sparrow 36 2.3 ChatGPT 40 2.3.1 사전 학습 및 프롬프트 학습 단계 42 2.3.2 결과 평가 및 보상 모델링 단계 45 2.3.3 강화학습과 자율기 46 2.4 알고리즘 세부사항 47 2.4.1 데이터 레이블링 48 2.4.2 모델링 접근 방법 48 2.4.3 미해결 문제 49 2.5 ChatGPT에 대한 고찰 50 2.6 장 요약 52 3장. 사전 학습 언어모델 53 3.1 트랜스포머 구조 54 3.2 인코더 기반 모델 57 3.2.1 BERT 58 3.2.2 RoBERTa 61 3.2.3 ERNIE 62 3.2.4 SpanBERT 66 3.2.5 MacBERT 68 3.2.6 ALBERT 69 3.2.7 NeZha 70 3.2.8 UniLM 71 3.2.9 GLM 73 3.2.10 ELECTRA 75 3.3 디코더 기반 모델 77 3.3.1 GPT 77 3.3.2 PaLM 78 3.3.3 OPT 79 3.3.4 Bloom 81 3.3.5 LLaMA 81 3.4 인코더 디코더 구조 모델 83 3.4.1 MASS 84 3.4.2 BART 85 3.4.3 T5 86 3.5 대화 데이터를 활용한 UniLM 모델 실습 88 3.5.1 프로젝트 소개 88 3.5.2 데이터 전처리 모듈 89 3.5.3 UniLM 모델 모듈 95 3.5.4 모델 학습 모듈 98 3.5.5 모델 추론 모듈 108 3.6 요약 113 4장. 기초 강화 학습 115 4.1 머신 러닝의 분류 116 4.1.1 지도 학습 116 4.1.2 비지도 학습 117 4.1.3 강화 학습 117 4.2 OpenAI Gym 123 4.2.1 OpenAI Gym API 소개 124 4.2.2 환경 프로필 125 4.3 강화 학습 알고리즘 128 4.3.1 Q-러닝 알고리즘 128 4.3.2 SARSA 알고리즘 131 4.3.3 DQN 알고리즘 134 4.3.4 정책 그레이디언트 알고리즘 138 4.3.5 액터-크리틱 알고리즘 142 4.4 챕터 요약 145 5장. 프롬프트 학습과 대규모 언어 모델의 등장 147 5.1 프롬프트 학습 148 5.1.1 프롬프트 학습이란? 148 5.1.2 프롬프트 템플릿 디자인 149 5.1.3 답변 공간 매핑 디자인 152 5.1.4 학습 방법에 대한 추가 팁 154 5.2 문맥 학습 155 5.2.1 문맥 학습이란? 155 5.2.2 문맥 학습 능력 향상을 위한 사전 교육 단계 157 5.2.3 추론 단계로 문맥 학습 최적화 159 5.3 사고 사슬 162 5.4 실습용 단서 기반 텍스트 감정 분석 170 5.4.1 프로젝트 프로필 170 5.4.2 데이터 전처리 모듈 171 5.4.3 BERT 모델 모듈 173 5.4.4 모델 트레이닝 모듈 177 5.4.5 모델 추론 모듈 190 5.5 챕터 요약 194 6장. 대규모 언어 모델의 사전 학습 195 6.1 대규모 사전 학습 모델 소개 196 6.2 사전 학습된 모델의 토크나이저 196 6.2.1 BPE 197 6.2.2 워드피스 200 6.2.3 유니그램 202 6.2.4 SentencePiece 203 6.3 분산형 딥러닝 프레임워크 205 6.3.1 병렬 패러다임 소개 205 6.3.2 Megatron-LM 214 6.3.3 DeepSpeed 217 6.3.4 거대 인공지능(Colossal-AI) 220 6.3.5 FairScale 224 6.3.6 ParallelFormers 226 6.3.7 OneFlow 226 6.4 실제 대규모 언어 모델을 기반으로 한 사전 학습 228 6.4.1 프로젝트 프로필 229 6.4.2 데이터 전처리 모듈 230 6.4.3 모델 학습 수행 234 6.5 대규모 언어 모델에 기반한 실용적인 정보 추출 245 6.5.1 프로젝트 프로필 246 6.5.2 데이터 전처리 모듈 246 6.5.3 Freeze 파인 튜닝 모듈 251 6.5.4 LoRA 파인 튜닝 모듈 258 6.5.5 P-Tuning v2 파인 튜닝 모듈 265 6.6 챕터 요약 272 7장. GPT 시리즈 모델 분석 273 7.1 GPT-1 ~ GPT-4 시리즈 모델 분석 274 7.1.1 GPT-1 및 GPT-2 모델 274 7.1.2 GPT-3 모델 276 7.1.3 GPT-3의 파생 모델: Code-X 280 7.1.4 GPT-4 모델 282 7.2 InstructGPT 모델 분석 283 7.2.1 모델 소개 284 7.2.2 데이터 수집 285 7.2.3 모델링 원칙 291 7.2.4 모델링 토론 293 7.3 GPT-2 모델 기반 텍스트 요약의 실제 사례 293 7.3.1 프로젝트 프로필 293 7.3.2 데이터 전처리 모듈 294 7.3.3 GPT-2 모델 모듈 297 7.3.4 모델 학습 모듈 299 7.3.5 모델 추론 모듈 310 7.4 챕터 요약 318 8장. PPO 알고리즘과 RLHF 이론의 실제 적용 사례 319 8.1 PPO 알고리즘 소개 320 8.1.1 그레이디언트 정책 알고리즘 검토 320 8.1.2 PPO 알고리즘의 구조 322 8.1.3 PPO 알고리즘의 비교 및 평가 326 8.2 RLHF 프레임워크 소개 328 8.2.1 RLHF 내부 프로파일링 329 8.2.2 RLHF 가치 분석 331 8.2.3 RLHF 문제 분석 333 8.3 PPO 기반 긍정적 텍스트 생성 프로젝트 실행 334 8.3.1 프로젝트 개요 및 데이터 세트 분석 334 8.3.2 데이터 전처리 모듈 335 8.3.3 모델 훈련 모듈 338 8.3.4 모델 생성 모듈 341 8.3.5 모델 평가 모듈 342 8.4 질문과 성찰 344 8.5 챕터 요약 346 9장. 클래스 ChatGPT를 활용한 실전 예제 347 9.1 작업 설계 348 9.2 데이터 준비 349 9.3 문제 과제 생성을 위한 문서 기반 수업 ChatGPT 실습 350 9.3.1 SFT 단계 350 9.3.2 RM 단계 362 9.3.3 RL 단계 376 9.4 챕터 요약 393 10장. ChatGPT 트렌드 395 10.1 AI 제작 컨텐츠 동향 396 10.1.1 AI 클라우드 엣지 협업 396 10.1.2 AI 도구 애플리케이션 398 10.1.3 AI 생성 제어 399 10.1.3 AI 의사 결정 지원 401 10.2 ChatGPT 2C 애플리케이션 시나리오 403 10.2.1 개인 비서 403 10.2.2 지식 멘토 405 10.2.3 아이디어 마켓 408 10.2.4 감성적 도우미 412 10.3 ChatGPT 2 B 애플리케이션 시나리오 415 10.3.1 지능형 고객 서비스 415 10.3.2 오피스 도우미 417 10.3.3 소프트웨어 개발 420 10.3.4 의사 결정 지원 422 10.4 업계 참조 권장 사항 425 10.5 챕터 요약 426 찾아보기 427 |
저자 소개 8
난징 윈웬 테크놀로지의 수석 알고리즘 설계자이자 MLNLP(기계 학습 알고리즘 및 자연어 처리) 커뮤니티의 학술 회원인 선임 NLP 및 AI 기술자입니다. 최초의 중국어 Unilm 사전 학습 모델, 중국어 GPT 2, 챗봇, 대규모 모델 미세 조정 등을 오픈소스화했습니다. 많은 논문을 발표하고 다수의 발명 특허를 보유하고 있습니다.
선임 NLP 및 AI 전문가이자 난징 윈웬 기술 NLP 연구소의 사장, 국가 인공지능 표준위원회 전문가, AlIA 인공지능 전문가, CCF 지능형 로봇 전문가 그룹의 초대 멤버 중 한 명입니다. 머신러닝 및 텍스트 마이닝, 중국어 자연어 처리 분야에서 오랜 경력을 보유하고 있으며 여러 나라의 인공지능 표준 제정에 참여했고, ‘대화형 인공지능’, ‘인공지능 실무서’ 등의 저서를 편집했습니다.
현재 BAT에서 근무하는 수석 AI 아키텍트이자 빅데이터 아키텍트로, NLP 분야에서 쇼핑 가이드 로봇 프로젝트의 기능 개발을 주도하고 있습니다. 산업 분야에서는 석탄 연소 최적화, 장비 문제 해결, 신에너지 태양광 전지 및 모듈을 위한 EL 이미지 감지 등의 프로젝트에 참여했습니다. 베스트셀러 도서인 『실무에 바로 적용하는 Python 자연어 처리: 핵심 기술과 알고리즘』 저자이기도 합니다.
수석 알고리즘 엔지니어이며 난징윈웬테크놀로지 알고리즘 그룹 책임자입니다. 데이터센터 및 알고리즘 플랫폼을 고객의 기존 제품 시스템과 결합하여 서비스 품질을 향상시키는 데 풍부한 실무 경험을 보유하고 있습니다. 다수의 특허를 취득했으며, 다수의 국가 차원의 인공지능 표준 및 보고서의 개발과 집필에 참여했습니다.
‘딥러닝논문읽기모임’과 ‘콥스랩’ 소속으로 NLP를 중심으로 공부하였습니다. 여러 기업과 대학에서 AI 강의를 하고 있습니다.
인공지능 대학원 석사과정 졸업후 다년간 비전 및 자연어 AI 엔지니어로 재직하였습니다. 현재 ‘콥스랩’ 소속으로써 여러 기업에 AI를 주제로 출강하고 있습니다.
신민정의 다른 상품
현직 NLP AI 엔지니어, 인공지능 대학원 석사 과정중이며, 딥러닝논문읽기 소속이며 여러 인공지능 커뮤니티와 스터디를 운영하고 있습니다.
현: 콥스랩(COBSLAB) 대표이사 및 AI 컨설턴트
경력: 삼성전자, LG CNS, 현대자동차, SKT 등 50여 개 기업/공공기관 AI 교육 및 솔루션 구축 진행. LLM, RAG, 멀티에이전트 시스템 전문가.
저서: 『이미지처리 바이블』 등. "AI를 쉽게, 실질적으로 누구나 활용할 수 있도록" 만드는 것을 목표로 활동 중.
류태선의 다른 상품
품목정보
- 발행일
- 2024년 10월 10일
- 쪽수, 무게, 크기
- 448쪽 | 182*240*30mm
- ISBN13
- 9791198786616
출판사 리뷰
|
본 책에서는 ChatGPT가 어떻게 개발되었는지에 대한 기술적 배경과 함께, 다양한 예제와 실습을 통해 이론을 실제로 적용하는 방법까지도 자세히 다루고 있습니다. 이를 통해 독자 여러분은 인공지능 모델이 어떻게 학습되고, 어떻게 활용될 수 있는지에 대한 깊은 이해를 얻을 수 있을 것입니다. 또한, AI 기술의 윤리적 사용과 사회적 책임에 대해서도 성찰할 기회를 제공합니다.
제1장에서는 ChatGPT의 기원과 작동 원리를 체계적으로 소개하고 일부 사용 사례를 보여 줍니다. 제2장에서는 ChatGPT의 관련 배경과 유사 제품을 소개하고, InstructGPT의 작동원리와 관련 핵심 모듈을 심층 분석합니다. 또한 ChatGPT의 성공 요인과 강화 학습과 NLP의 결합 방법에 대해 탐구합니다. 제3장은 트랜스포머 기반 사전 학습 언어 모델에 대한 설명을 다루고 있습니다. 트랜스포머 아키텍처의 구조적 특징과 언어 처리 작업에서의 활용 방법을 상세하게 소개하고, 다양한 사전 학습 태스크를 통해 언어 모델이 문맥 이해 능력을 향상시키는 과정과 이로 인해 발생하는 문제와 해결책에 대해 논의합니다. 제4장은 기초 강화 학습의 이론과 실제 적용에 대해 다루고 있습니다. 에이전트가 주어진 환경에서 최적의 행동을 학습하여 보상을 최대화하는 방법으로 정책 그레이디언트 알고리즘을 설명하며, 다양한 강화 학습 방식과 구현에 대한 세부적인 내용을 다룹니다. 제5장에서는 대규모 언어 모델과 프롬프트 학습의 도입을 다룹니다. 언어 모델이 문제를 해결하고 데이터에서 학습하는 방법과 프롬프트 학습을 통해 모델이 효율적으로 학습하고 문맥을 이해하는 방법을 설명합니다. 프롬프트를 활용한 학습 접근 방식이 언어 모델 성능을 향상시키는 다양한 사례를 소개합니다. 제6장에서는 대규모 언어 모델의 사전 학습에 필요한 기술적 접근과 방법론을 상세하게 다룹니다. 특히, 데이터 병렬 처리와 ZeRO 최적화 기술을 중심으로 모델 학습 효율성을 개선하는 방법과 메모리 최적화 및 속도 향상에 대한 기술적 해결책을 제시합니다. 제7장은 GPT 시리즈 모델의 세부적인 분석을 다루고 있습니다. 이 장에서는 GPT 모델의 구조, 작동 방식, 적용 분야 및 모델 개선 방안을 다룹니다. 제8장은 PPO 알고리즘과 RLHF 이론의 실제 적용 사례에 대해 다루며, 강화 학습이 텍스트 생성에 어떻게 도움이 될 수 있는지 탐구하고 강화 학습 전략이 GPT 모델 성능 향상에 미치는 영향을 설명합니다. 제9장에서는 ChatGPT 모델을 활용한 문서 생성 문제를 다루며, PPO 강화 학습과 RLHF를 활용한 모델 학습의 실제 적용 예시를 제시하고 모델의 학습 과정과 결과물의 향상 방법을 설명합니다. 또한, 강화 학습을 통한 문제 해결 과정에서 발생하는 기술적 문제와 해결책을 논의합니다. 제10장에서는 ChatGPT의 발전 동향에 초점을 맞춥니다. AI 콘텐츠 제작 산업의 관점에서 ChatGPT를 심층적으로 분석하고, B2C와 B2B 적용 시나리오를 살펴보며, AI 콘텐츠 제작 산업의 미래를 제시합니다. 번역 과정에서 제가 가진 이해의 한계를 넘어서기 위해 끊임없이 연구하고, 여러 전문가의 조언을 구했습니다. 이 책이 여러분에게도 지식과 통찰을 제공하는 귀중한 자료가 되기를 바랍니다. 마지막으로, 이 책을 통해 인공지능 기술, 특히 자연어 처리 기술에 대한 여러분의 관심과 이해가 한층 더 깊어지기를 기원합니다. |
리뷰/한줄평0
26,000원
총 1개
26,000원
