▶▶ 이 리뷰는 출판사에서 도서를 제공 받아, 직접 읽고 작성한 리뷰입니다. ＜트랜스포머로 시작하는 자연어 처리＞는 트랜스포머와 자연어 처리(NLP)의 핵심 원리를 소개하고, 최신 딥러닝 모델들의 실질적 활용 방안을 다룹니다. 특히 초보자의 관점에서 느낀 점을 중심으로, 몇 가지 중요한 장을 깊이 탐구하며 독창적인 서평을 작성하고자 합니다.  3장 "BERT 모델 미세 조정하기"는 자연어 처리에서 BERT의 강력한 활용성을 설명하며, 이 모델이 기존의 RNN이나 LSTM과 같은 방식보다 왜 더 높은 성능을 보이는지 기술적으로 풀어냅니다. BERT의 미세 조정은 텍스트 분류, 질문 응답, 감정 분석 등에서 구체적으로 어떻게 적용할 수 있는지 보여줍니다. 특히 초보자인 저로서는 다양한 하이퍼파라미터 조정이 학습 결과에 큰 영향을 미친다는 사실이 흥미로웠습니다.  또한, 7장 "GPT-3 엔진을 사용한 초인간 트랜스포머 등장"에서는 GPT-3가 제공하는 방대한 언어 모델링의 가능성을 설명하고, 이를 활용한 실제 사례들을 다루고 있습니다. OpenAI의 GPT-3가 방대한 데이터와의 상호작용을 통해 인간과 유사한 수준의 언어 이해를 보여주는 과정을 설명하면서, 초인간적인 능력을 갖춘 트랜스포머 모델의 발전 가능성에 대해 알려줍니다. 이 부분을 읽으며, AI의 미래가 얼마나 급격히 변화하고 있는지를 실감할 수 있었습니다. GPT-3와 GPT-4가 보여주는 놀라운 성과들은 초보자에게도 충분히 이해할 수 있도록 설명되어 있으며, 이론과 응용 사이의 균형이 잘 잡혀 있습니다.  13장 "트랜스포머로 가짜 뉴스 분석하기"는 실질적인 응용 분야를 제시한다는 점에서 인상적입니다. 가짜 뉴스를 분석하고 감정 반응을 탐지하는 등의 작업을 트랜스포머 모델을 통해 어떻게 해결할 수 있는지를 다루며, AI가 현실 사회에서 어떠한 영향을 미치는지에 대한 중요한 시사점을 제공합니다. 가짜 뉴스를 감지하고 분석하는 작업이 언론과 공공 정책에서 필수적이 되어 가는 현대 사회에서, 트랜스포머의 역할이 더욱 중요해지고 있음을 느끼게 해줍니다. 이 책은 17개의 장으로 구성되어 있어 방대한 양의 정보를 제공하지만, 각 장마다 실습 예제와 명확한 설명이 있어 단계적으로 학습할 수 있습니다. 초보자인 저로서는 때때로 개념이 다소 어렵게 느껴졌으나, 실습 예제를 통해 이해가 한층 높아졌습니다. 트랜스포머 모델을 실무에서 활용하고자 하는 사람들에게 강력하게 추천합니다. #트랜스포머로_시작하는_자연어_처리 #트랜스포머로시작하는자연어처리 #Denis_Rothman #DenisRothman #영진닷컴 #트랜스포머 #자연어처리 #하헌규 #김윤기 #박지성 #임창대 트랜스포머로 시작하는 자연어 처리
|
|
4차 산업혁명의 시대, 바야흐로 인공 지능과 딥러닝의 시대다.
이젠 제타바이트를 넘어서고, 데이터의 양이 너무 많아서 단위까지 조정해야 할 정도로 쌓이는 데이터의 양
문자로 된 어마어마한 데이터 처리를 위해 개발된 것이 바로 트랜스포머이다.
트랜스포머는 하루가 다르게 진화하고 발전하고 있다.
이러한 트렌드에 발맞추고 따라가기 위해서 어떻게 해야 헐까? 
트랜스포머로 시작하는 자연어 처리 이 책은 크게 3부분으로 나눌 수 있다.
첫 번째는 트랜스포머는 어떤 것인지, 어떠한 작업이 가능한지에 대해 알 수 있다. 1장부터 2장까지는 주로 트랜스포머의 정의와 구동되는 원리에 대해서 서술하고 있다.3장은 BERT를 구동하는 방법에 대해서 주로 다루고 있다. 4장은 BERT에서 파생된 RoBERTa에 대해서 다루고 있으며, 5장과 6장은 트랜스포머를 통해 다룰 수 있는 작업 두가지를 설명하고 있다. 다운스트림 NLP 작업과 기계언어 번역 작업이다.
두 번째는 이러한 트랜스포머와 GPT가 결합하면 어떤 작업이 가능할 것인가이다. 7장은 트랜스포머와 GPT가 결합하는 것에 대해서 설명하고 있다. 8장 부터 14장까지는 트랜스포머와 GPT의 결합을 통해 할 수 있는 인공지능 세계를 보여주고 있다. 법률 및 금융 분야, 데이터셋에 적합한 토크나이저 만들기, BERT 기반 트랜스포머를 사용한 SPL, 데이터가 말하는 방법, 고객 감정 예측과 가짜 뉴스 판별 등. 5년 전만 해도 상상도 하지 못할 이야기를 다루고 있다.
마지막으로 15장부터 17장까지는 전통적인 트랜스포머가 아닌 다른 방법으로 자연어 처리를 어떻게 할 수 있는가이다. 코파일럿, GPT-4, DALL-E2를 사용하는 방법에 대해서 배운다.
실습, 문제 풀이와 함께 이 책은 단순히 트랜스포머의 변화에 대한 개관만을 다루지는 않는다. 책을 보면서 프로그램 코딩을 할 수 있다. 하지만 출판사에서 제공하는 프로그램을 통해 코딩을 배우면서 관련된 사이트 또는 논문 등을 통해 더 깊은 내용을 알 수 있다.  실습 화면
그리고 원저자의 깃허브나 영진닷컴 부록 홈페이지를 통해서 실습 예제 파일을 받을 수 있다.
원저자의 본 책 깃허브 https://github.com/Denis2054/Transformers-for-NLP-2nd-Edition
영진닷컴 부록 홈페이지 https://www.youngjin.com/reader/pds/pds.asp (위 링크 들어간 후 게시글 7600번 ‘트랜스포머로 시작하는 자연어 처리’ 클릭)
연습문제와 정리, 참고자료를 통해 내용을 다시 한번 확인하자. 이를 통해 다시 내용을 확인하면서 정리할 수 있다.  10장 정리하기
부록 끝에 연습문제에 대한 해답이 수록되어 있어 개념 확인이 되었는지를 확인할 수 있다.  연습문제 정답
이 책과 함께한다면 트랜스포머의 과거와 현재, 미래를 알 수 있다. 과거의 개념인 CNN, RNN부터 시작하여 트랜스포머 그리고 트랜스포머와 GPT2, 3를 결합하고 응용하는 방법, GPT-4와 DALL-E2까지 폭넓게 프로그램을 익힐 수 있다.
다만 분량이 방대하고 어려운 책임을 감안해야 한다. 따라서 계획을 가지고 천천히 내용을 잘 이해하는 것이 중요하다.
그리고 이 책을 알기 위해서 파이토치 프로그램과 파이썬 프로그램에 대해서 알고 있는 것이 좋다. 이 책으로 실습 시 구글 코랩으로만 사용하지 않았으면 한다. 트랜스포머 특성상 GPU를 많이 쓰는데 무료 용량이 제한되어 있다. keggle, Github 등에서 나눠서 실습하는 것도 괜찮은 방법이다.
이 책 2장과 3장은 논문 내용을 코딩 프로그램을 통해 설명하고 있다. 이 책 곳곳에 책 나용과 관련된 논문을 안내하고 있으니 참고하자.
이 책은 치킨 먹을 때 뼈 발라 먹듯이 부록까지도 알뜰살뜰하게 이용할 수 있다. 그러니 부록이라고 소홀히 하지 말고 부록에 있는 코딩도 돌려보자. 특히 GPT 2에 대해서 자세히 알 수 있는 기회가 될 것이다.  부록 1
트랜스포머와 함께 4차 산업혁명을 헤쳐나가자. 우리가 사는 시대는 이제 인공지능, 딥러닝과는 이제 뗼레야 뗄 수 없는 시대가 되었다. 이러한 인공지능 열풍 속에서 관련 지식을 배우거나 자격증을 따기 위해서 노력하는 사람들은 기하급수적으로 늘고 있는 실정이다. 하지만 트랜스포머의 개념이 본격적으로 시작된 것은 10년도 채 되지 않는다. 따라서 트랜스포머에 대해 전체적으로 개괄하면서 미래의 예측까지 해주는 책은 거의 없다고 봐도 될 정도로 없다.
그러던 와중에 이 책을 만난 것이다.
이 책을 통해 트랜스포머, 작동원리 뿐만 아니라 GPT, 그리고 그 외 다른 프로그램의 구동 방법에 대해서 잘 알 수 있는 좋은 기회가 왔다. 이 책과 함께 4차 산업혁명을 헤쳐 나갈 수 있는 기회를 잡는 여러분이 되기 바란다.
[이 서평은 출판사 리뷰 이벤트에서 도서를 제공 받았으며, 작성자의 주관적인 견해를 토대로 작성하였습니다.] |
  서평 1. 트랜스포머는 4년도 채 되지 않아 30년 동안 달성한 모든 기록을 경신했다. 음성 인식, 번역, 단백질 시퀀싱, 코드 작성 등 모든 분야에서 새로운 애플리케이션을 위한 기본 구성 요소로 사용된다. 근래 머신러닝에 대한 관심이 높아지고, 기술이 발전함에 따라 반복적인 작업을 자동화하려는 경향성이 높아지고 있다. 트랜스포머는 모든 인공지능 분야의 기본 소양(4)이라고 하니 한 번 배워볼 만 할 것이다. 2. 자연어 처리(NLP)는 인공지능을 대표하고 있는데, 트랜스포머는 자연어 이해(NLU)의 판도를 바꾸고 있다. 4차 산업혁명 시대라는데, 대표적인 트랜스포머를 사용하는 애플리케이션 중 하나는 구글 번역이다. 3. 책에서는 트랜스포머를 사용한 기계번역, 법률 및 금융 문서에 트랜스포머를 적용하여 요약하기, 데이터가 말하게 하기, 고객 감정을 감지해 예측하기, 가짜 뉴스 분석하기 등 실질적인 내용을 다룬다. 그러다보니 쉽지는 않다. 책에서는 정리하기, 퀴즈 등을 통해서 내용을 숙지했는지에 대한 판단을 스스로 해볼 수 있다. 또한, 참고 문헌까지 세세하게 정리되어 공부를 하기에 딱 적합할 것이다. 4. 저자는 인공지능, 기계학습, 자연어 처리 분야에서 나름 유명한 사람이라고 한다. 특히 트랜스포머 모델과 관련된 작업으로 유명하다고 한다. 책을 읽으면서(사실 실습을 해보면서 하려고 했으나 시간적 소모가 너무 커서 시도를 못하였..) 최신 기술을 딥러닝 애플리케이션에 접목해 볼 수 있는 눈을 키울 수 있었던 것 같다. ★생각나는 구절 ★질문 한 가지 ★추천해주고 싶은 분 파이썬 프로그래밍에 익숙한 딥러닝 및 NLP 실무자(파이썬 조차 제대로 못 다뤘기에 이 책이 무슨 말을 하는지 제대로 이해 못 한 일인) 자연어 이해 도입을 우너하는 데이터 분석가 ★독서 기간 2024. 7. 10. ~ 7. 18. ★함께 읽으면 좋을 책 ★추천도(지극히 주관적인) ★★★★ p.s 출판사로부터 서적을 제공받아 주관적으로 서평을 작성하였습니다. |
|
[똑똑한 도서소개] 영진닷컴, 트랜스포머로 시작하는 자연어 처리 글 / 사진 : 서원준 (news@toktoknews.com)  이 포스팅은 리뷰어스클럽서평단을 통해서 영진닷컴에서 도서를 제공받아 직접 읽은 후 작성하였으며 도서소개 (구매가이드) 성격이 강한 글입니다. 2024년도 어느새 하반기로 접어들어 벌써 7월 중순이 되었습니다. 이 여름 더위가 창궐할텐데 컨디션 및 건강관리 잘 하시기 바랍니다. 세월이 최근 들어서는 더 빨라진 듯 합니다. 장마철에 건강관리 잘 하시고 무더위 대비 잘 하시길 바랍니다. 코파일럿과 챗GPT, 메타버스 등 다양한 신기술이 펼쳐지는 현 정보통신 시대에 자연어의 역할은 무엇인지, 자연어처리에 있어서 트랜스포머의 역할은 어디까지인지에 대해서 생각해 보는 시간이 되시기를 바랍니다. 최근 나라가 엄혹해지면서 정보통신기술을 받아들이는 시점 자체가 갈 수록 늦어지는 것이 아닌가 싶습니다. 이 경우 국제경쟁력 문제가 생기게 됩니다. 이것에 잘 대처를 해야 할 것인데, 문제는 자기 탐욕만 부리다가 세계적인 흐름에 뒤처지는 것, 이것이 오늘의 대한민국이라 할 수 있습니다. 최근 코파일럿, GPT4만 봐도 이같은 현상은 뚜렷합니다. 인공지능 PC 및 노트북이 조금씩 출시가 되는 이 시기에는 기본이 무엇보다 중요하다고 할 수 있습니다.  1996년. 1997년의 일입니다. 필자는 대학생으로서 TV를 시청하다 "자연어 검색 엔진" 이라는 말을 그때 처음 듣게 됩니다. 그 당시에는 지금과 같은 "네이버" 도 없었을 뿐 아니라 외국산 검색 엔진에 국산 검색엔진 1 ~ 2개 정도가 국내에서 검색엔진 시장을 놓고 치열하게 승부를 하고 있었던 그때 "자연어 검색엔진" 이란 말이 나오면서 자연어 검색 엔진을 그때 배우게 되었습니다. 그런데 그 "자연어" 라는 말 자체도 사실은 크게 와 닿는 내용은 아니었습니다. PC 프로그래밍은 호기심 정도만 있었을 뿐이었습니다. 1996년 ~ 1997년에는 C언어, 베이직, 코볼 정도만 있었습니다. 최근 이슈가 되는 파이썬이니 인공지능 등은 이슈가 덜 되었거나 개념 역시 잡히지 않는 시절이었습니다. 그렇게 약 30년의 시간이 흘렀습니다. 그런데 이번 기회에 영진닷컴에서 자연어 처리 관련 도서를 만나는 순간, 또 그 때 기억이 났습니다. 바로 "트랜스포머로 시작하는 자연어 처리" 라는 책인 것입니다. 그런데 이 책의 "자연어" 가 검색엔진 시절의 "자연어" 인지를 또 한 번 생각해 봤습니다. 책을 읽어보니 놀랍게도 맞았습니다. 이 책은 트랜스포머의 모든 원리를 탐색할 수 있는 책으로 풍부한 예제와 다양한 코드를 제공하여 주는 책입니다.  마치면서 지금 우리는 4차 산업혁명 시대에 살고 있습니다. 즉, 인공지능이 일상 생활의 일부를 대신해 주는 시대입니다. 인공지능 PC도 나왔고 필자가 도서소개를 할 때, 기회 있을 때마다 언급하는 내용인 "분초사회" 도 바로 4차 산업혁명, 그중 인공지능에서 나오는 것 같다는 느낌이 듭니다. 트랜스포머는 바로 4차 산업혁명을 주도적으로 이끄는 역할을 합니다. C 언어, C++언어, 파이썬, 트랜스포머는 필자가 꼭 배워야 할 중요한 프로그래밍 언어라고 생각합니다.  #협찬 #유료광고 #도서협찬 #책스타그램 #북스타그램 #독서 #독서스타그램 #도서 #도서스타그램 #책추천 #도서서평 #영진닷컴 #트랜스포머로시작하는자연어처리 #데니스로쓰먼 #리뷰어스클럽 #리뷰어스클럽서평단 #딥러닝 #트랜스포머 |
|
트랜스포머는 산업적인 단일화된 포스트 딥러닝 모델로 슈퍼 컴퓨터가 병렬로 처리할 수 있게 고안했다. 트랜스포머의 단일화된 특성 덕분에 별도 미세 조정없이도 다양한 작업에 모델을 활용할 수 있다. 트랜스포머 모델은 패러다임 전환을 대표하기에 이것들을 묘사할 새로운 이름이 필요했다. 파운데이션 모델이라고 하는데 4차 산업혁명은 모든 것을 연결함으로써 기계 간 자동화를 실현했다. ＜트랜스포머로 시작하는 자연어 처리＞는 트랜스포머의 기본 개념과 작동 방식에 대한 풍부한 정보를 제공한다. 자연어 처리 기초부터 BERT, RoBERTa, 코파일럿, GPT 모델까지 다소 전공책처럼 전문적인 정보가 많이 담겨 있기도 하다. 하지만 트랜스포머에 대해 관심이 있거나 전문적인 지식을 원하는 사람들에게 많은 정보를 줄 수 있는 책이다.
   트랜스포머로 가짜 뉴스의 다양한 주제를 탐구하고 매일 마주하는 다양한 관점의 온라인 콘텐츠를 이해하기 위해 트랜스포머를 활용하는 방법을 알아야 한다. 가짜 뉴스와 그렇지 않은 것을 파악하는 데는 시간과 노력이 필요하고 우리는 가짜 뉴스와 그렇지 않은 것을 구별해나가야 한다. 가짜 뉴스는 의견과 사실 모두를 포한하고 있어 종종 현지 문화에 의한 사실 인식에 따라 달라진다. 주제에 대한 더 많은 정보를 수집하고 매일 받는 정보의 정글에서 길을 찾는 데 도움이 될 아이디어와 도구를 활용할 것이다. 트랜스포머의 성능이 아닌 윤리적인 방법에 초점을 맞출 것이다. 인간의 판단을 대체하지 않는 대신 우리는 사람들이 직접 판단을 내릴 수 있는 도구를 제공할 것이다. ※출판사로부터 도서를 제공받아 작성한 리뷰입니다※ |
 인공지능 분야에서 발전하고 있는 자연어 처리(Natural Language Processing, NLP)는 많이 들어봤는데 제대로 알지 못했고, 트랜스포머(Transformer)는 처음 들어봤다. 모르는건 좀 알아봐야 하는 성격이기에 ＜트랜스포머로 시작하는 자연어 처리＞책을 보게 되었는데 트랜스포머 모델의 기초부터 응용까지를 다루는 포괄적인 입문서같았다. 입문서라고 하지만 파이썬 프로그램, 기계 학습의 기초는 다루지 않고, 대신 기계 번역, 음성 인식, 텍스트 음성 변환, 언어 모델링 등을 더 설명해주고 있다. 이 책은 트랜스포머 모델의 역사적 배경과 등장 배경부터 설명을 하고 있는데 기존 RNN과 LSTM모델의 한계점을 극복한 트랜스포머의 혁신적인 접근 방식을 이해하기 쉽게 설명하고 있다. 그리고 구성 요소는 트랜스포머 모델의 핵심 구성 요소인 셀프 어텐션 메커니즘(Self-Attention Mechanism), 포지셔널 인코딩(Positional Encoding), 인코더-디코더 구조에 대해서 시각적으로 설명하고 있습니다. 트랜스포머를 이해하기 쉽게 파이썬 예제들이 많이 있는데 초보자들도 이용하기 쉽게 코드를 제공하여 책을 따라가며 이해하기 쉽도록 되어있다. 이 테스트를 쥬피터 노트북에서 해봤는데 상당히 잼미가 있었다. 특히나 번역을 해준다는 것이 정말 매력적이였고, 인공지능의 위대함을 다시 한번 더 느꼈다. 이 책은 딥러닝과 NLP에 어느정도 익숙한 사람은 트랜스포머 모델의 강력함과 유용성을 충분히 느낄 수 있고 실전예제와 응용사례를 통해서 실전에 적용연습과 번역, 문서 요약, 질의 응답 시스템 등 다양한 분야에서 트랜스포머가 어떻게 활용되고 있는지를 보여주기에 ＜트랜스포머로 시작하는 자연어 처리＞는 NLP 분야에서 트랜스포머 모델을 제대로 이해하고 활용하고자 하는 모든 이들에게 추천할 만한 책입니다. #딥러닝 #트랜스포머 #트랜스포머로시작하는자연어처리 도서를 제공받아 작성한 리뷰입니다. |
|
트랜스포머로 시작하는 자연어 처리 자연어 처리 기초부터 BERT, RoBERTa, 코파일럿, GPT-4 모델까지 트랜스포머의 기본 원리부터 시작하여, 어떻게 자연어 처리 작업에 활용되는지를 체계적으로 배우는 책 트랜스포머로 시작하는 자연어 처리를 만나봅니다. 큰아이가 컴퓨터 관련 전공으로 정하면서 코딩은 물론 컴퓨터 관련 도서들 위주로 챙겨보고 있어요. 학교수업에서 직접하는건 아니지만 진로연계해서 생기부쓰는데도 도움을 받을 수 있더라고요. 그래서 컴퓨터관련해서 딥러닝, AI, 코딩 등 다양하게 만나보는 중입니다. 트랜스포머란 무엇인가부터 시작하는 트랜스포머로 시작하는 자연어 처리 저도 트랜스포머가 뭔지 잘 모르는터라 첫시작으로 좋을 것 같아요.
시작하기 전에 배울 내용이 어떤 건지 정리해 두고 데이터셋으로 책의 내용을 실행해 볼 수 있어요. 각 장을 배우고 나면 정리하기를 통해 혼자 복습할 수 있고 문제를 통해 실력을 테스트할 수 있어요.
파이썬 프로그래밍에 익숙한 딥러닝 및 NLP 실무자나 증가하는 언어 데이터를 처리하기 위해 자연어 이해 도입을 원하는 데이터 분석가와 데이터 과학자가 살펴보면 좋은 트랜스포머로 시작하는 자연어 처리입니다.
파이썬, 파이토치, 텐서플로우 등의 도구를 사용하여 언어 이해의 핵심 요소를 다루고, 다양한 트랜스포머 모델의 아키텍처를 분석합니다. 실제 적용 사례와 코딩 예제를 통해 독자가 직접 실습해볼 수 있도록 구성되어 있고, 자연어 이해를 위한 딥러닝 방법론에 중점을 두고, 다양한 응용사례와 실습을 통해 독자의 이해를 돕습니다. 제가 보려니 이론적인 부분들도 많이 보이고 실습하는 부분들있다보니 어렵게 느껴지네요. 아이한테는 또 어떨지 궁금하네요. 도서를 제공받아 작성한 리뷰입니다. |
|
2016년 이세돌과 알파고의 바둑 대결은 알파고의 4:1 승리로 끝났습니다. 처음 체스 프로그램이 세계 챔피언을 꺾었을 때에도 엄청난 충격이었는데 체스는 경우의 수를 계산할 수 있기 때문에 컴퓨터의 성능이 좋아지면서 그럴 수 있는 일로 받아들여졌습니다. 반면 바둑은 경우의 수가 무궁무진해서 컴퓨터가 인간을 꺾을 수 없을 것이라고 했었는데 충격적이게도 알파고의 완벽한 승리로 끝났네요. 이후 AI 기술은 빠른 속도로 발전하기 시작하였는데 재작년에 등장한 ChatGPT 는 또다른 점에서 충격을 주었습니다. 그동안의 AI 는 사람이 아닌 AI 라는 것을 명확하게 알 수 있었지만 ChatGPT 의 대화 능력은 튜링 테스트가 무의미할 정도로 거의 사람과 비슷하였습니다. AI 의 역사는 오래 되었는데 그동안 두 번의 빙하기를 겪으면서 침체되기도 하였습니다. 하지만 최근에는 무서운 속도로 발전하고 있고 실제 우리 생활에도 밀접한 영향을 미치고 있습니다. '트랜스포머로 시작하는 자연어 처리' 는 이러한 AI 기술의 기반이 되고 있는 트랜스포머와 함께 이를 이용해 어떻게 서비스를 개발할 수 있을지 자세히 설명하고 있습니다. AI 는 머신러닝에서 딥러닝으로 발전하고 있는데 트랜스포머를 소개한 한 논문은 기존 기술에 파장을 불러 일으켰습니다. 논문의 제목은 'Attention is All You Need' 로 논문하면 떠오르는 딱딱한 이미지와 거리가 먼 데다가 자부심마저 넘쳐나는 느낌입니다. AI 와 일부 관련된 일을 하다보니 눈문을 읽어보았지만 사실 거의 이해를 하지 못했었네요. 트랜스포머는 핵심적인 부분이기 때문에 정확하게 아는 것이 중요한데 이 책에서도 상당한 분량을 할애해 설명하고 있습니다. 트랜스포머를 소개한 단편적인 글들을 보기는 했었지만 책에서 자세한 설명과 함께 읽다보니 이해하는데 많은 도움이 되었습니다. 자연어를 처리하는 초기 모델들과는 달리 최근 나오는 모델들은 파라미터의 개수도 훨씬 많을 뿐만 아니라 GPU 연산도 많이 필요해서 작은 회사나 개인이 모델을 직접 만들기 어렵습니다. 그래서 IT 기업이나 연구기관에서는 이른바 파운데이션 모델이라는 미리 학습된 모델을 공개하고 있고 필요하면 누구나 데이터를 추가해서 파인튜닝해 새로운 모델을 만들 수 있네요. 추가로 학습할 데이터가 얼마나 있는지, 그리고 학습 파라미터를 어떻게 설정하는지에 따라 학습 결과는 크게 달라질 수 있습니다. 이 책에서는 이러한 파라미터를 설정하는 방법이 자세히 나와있습니다. 그냥 무턱대로 조금씩 값을 바꿔 나가기에는 시간이나 GPU 자원이 모자란데 이에 대한 노하우를 얻을 수 있었네요. 책에서 가장 재미있게 읽었던 부분이 기계 번역기를 만드는 방법이었습니다. 처음 구글 번역이 나왔을때 무척 획기적이었지만 기본적인 단어 가 틀리는 경우 도 많았습니다. 그래서 인터넷 유머 게시판에도 이러한 사례들이 자주 올라왔었는데 이제는 수십개 이상의 언어를 지원하면서 일상 대화는 말할 것도 없고 전문적인 문장도 매우 매끄럽게 번역을 해주네요. 기본적으로 한 문장과 이를 다른 언어도 번역한 문장을 다수 수집한 후에 서로 매칭을 시켜 학습을 합니다. 구글에서 만든 trax 라이브러리를 이용한 기계 번역기 개발은 그대로 따라하거나 아니면 출판사 웹사이트에 올라온 코드를 다운로드 받으면 되는데 한줄씩 타이핑을 하다보니 대략적으로 원리를 이해할 수 있었네요. 번역 결과를 평가하는 방법인 BLEU 도 소개하고 있어서 AI Hub 등에 올라오는 언어 데이터로 한번 나만의 기계 번역기 만들기에 도전해봐야 겠습니다. 요즘은 하루게 다르게 최신 기술이나 모델이 쏟아져 나오면서 한 달만 되어도 트렌드에서 뒤쳐져 버립니다. 그래도 AI 를 관통하는 핵심 기술은 큰 변함이 없는데 조금씩 공부하는 입장에서 이 책은 두께 만큼이나 든든한 바이블이 되고 있네요. 한번 열심히 공부해서 다른 사람들에게도 문제 해결 방법을 알려줄만큼 실력을 쌓아야 겠습니다. * 출판사에서 보내준 책을 읽고 서평을 썼습니다.    #딥러닝 #트랜스포머 #트랜스포머로시작하는자연어처리 |
|
“트랜스포머로 시작하는 자연어 처리 (Denis Rothman 著, 김윤기, 박지성, 임창대, 하헌규 共譯, 영진닷컴, Transformers for Natural Language Processing: Build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and more)”를 읽었습니다.
먼저 이 책을 읽고 서평을 쓰기 앞서, 비전문가로서 최근 관심이 뜨거운 생성형 AI와 자연어 처리에 대한 교양으로서 이해도를 높이는 관점에서 이 책에 대해 접근했음을 말씀드립니다. 이 말씀을 먼저 드리는 것은 아래 서평의 내용에 있어 비전문가의 낮은 이해도로 책의 내용을 오독할 수 있음을 말씀드리기 위한 이유입니다. 먼저 이 책은 생성형 AI의 등장으로 주목받고 있는 트랜스포머와 자연어 처리 기술에 대해 딥러닝, NLP(Natural Language Processing) 전문가, 데이터 분석가를 독자로 상정하고 쓴 전문서입니다. 하지만 많은 내용들이 기본 개념부터 심화 활용까지 계단식 구성으로 되어 있어 책의 내용을 따라가는데 큰 문제는 없습니다.
트랜스포머(Transformers) 기술은 2017년 구글이 발표한 "Attention is All You Need" 논문을 통해 소개된 혁신적인 자연어 처리 모델입니다. 기존의 순환 신경망(RNN) 구조를 대체하며 자연어 처리 분야에 큰 변화를 가져오게 되지요. 이 기술은 우리가 지금 만나고 있는 여러 생성형 AI의 기반이 되는 GPT(Generative Pre-trained Transformer)와 BERT(Bidirectional Encoder Representations from Transformers) 등 기술로 발전하게 됩니다. 저자는 이 모댈의 고유성을 고차원의 단일화와 높은 수준의 이머전시로 규정하고 있습니다. 즉 하나의 모델이 다양한 작업을 수행할 수 있으면서 수십억에서 조 단위의 파라미터를 학습하면서 발생하는데 이는 포스트 딥러닝 생태계에 일대 혁신과 패러다임의 전환을 가져왔다고 이야기합니다. 책은 단순 실무적, 기술적 접근만 하는 것이 아니라 이론이나 기술의 배경부터 차근 차근 설명하고 기술 부분으로 넘어가는 구조로 되어 있습니다. 즉, 이론적 배경, 구현 방법, 그리고 실제 응용 사례의 구성인거죠.
이러한 구조는 독자가 트랜스포머와 자연어 처리에 대한 개념을 단계적으로 이해할 수 있게 도와줍니다. 각 장은 기본 개념 설명으로 시작해 점진적으로 복잡한 내용으로 나아가며, 실제 코드 예제와 응용 사례를 통해 이론을 실제 용례로 연결시킵니다. 또한 책 전반에 걸쳐 풍부한 그림과 도표가 제공되어 복잡한 개념을 시각화하여 이해를 돕고 있습니다. 그렇기에 서두에서 밝힌 바와 같이 저자가 상정한 대상 독자가 아니지만 교양 수준에서 접근하는 독자 역시 책에서 이야기하는 내용의 상당 부분을 이해할 수 있습니다. 이론적 깊이와 실용적 가이드를 균형 있게 제공하며, 최신 트렌드와 실무적 팁을 풍부하게 담고 있어 NLP 전문가를 목표로 하는 이들 뿐 아니라 교양서로서도 훌륭한 가치를 가지고 있는 책으로 추천드리고 싶습니다.
#트랜스포머로시작하는자연어처리 #DenisRothman #김윤기 #박지성 #임창대 #하현규 #영진닷컴 #리뷰어스클럽 ※ 본 서평은 출판사로부터 도서를 제공받아, 직접 읽고 주관에 따라 서평을 작성하였습니다.
|
|
“트랜스포머로 시작하는 자연어 처리 (Denis Rothman 著, 김윤기, 박지성, 임창대, 하헌규 共譯, 영진닷컴, Transformers for Natural Language Processing: Build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and more)”를 읽었습니다. 먼저 이 책을 읽고 서평을 쓰기 앞서, 비전문가로서 최근 관심이 뜨거운 생성형 AI와 자연어 처리에 대한 교양으로서 이해도를 높이는 관점에서 이 책에 대해 접근했음을 말씀드립니다. 이 말씀을 먼저 드리는 것은 아래 서평의 내용에 있어 비전문가의 낮은 이해도로 책의 내용을 오독할 수 있음을 말씀드리기 위한 이유입니다. 먼저 이 책은 생성형 AI의 등장으로 주목받고 있는 트랜스포머와 자연어 처리 기술에 대해 딥러닝, NLP(Natural Language Processing) 전문가, 데이터 분석가를 독자로 상정하고 쓴 전문서입니다. 하지만 많은 내용들이 기본 개념부터 심화 활용까지 계단식 구성으로 되어 있어 책의 내용을 따라가는데 큰 문제는 없습니다.
트랜스포머(Transformers) 기술은 2017년 구글이 발표한 "Attention is All You Need" 논문을 통해 소개된 혁신적인 자연어 처리 모델입니다. 기존의 순환 신경망(RNN) 구조를 대체하며 자연어 처리 분야에 큰 변화를 가져오게 되지요. 이 기술은 우리가 지금 만나고 있는 여러 생성형 AI의 기반이 되는 GPT(Generative Pre-trained Transformer)와 BERT(Bidirectional Encoder Representations from Transformers) 등 기술로 발전하게 됩니다. 저자는 이 모댈의 고유성을 고차원의 단일화와 높은 수준의 이머전시로 규정하고 있습니다. 즉 하나의 모델이 다양한 작업을 수행할 수 있으면서 수십억에서 조 단위의 파라미터를 학습하면서 발생하는데 이는 포스트 딥러닝 생태계에 일대 혁신과 패러다임의 전환을 가져왔다고 이야기합니다. 책은 단순 실무적, 기술적 접근만 하는 것이 아니라 이론이나 기술의 배경부터 차근 차근 설명하고 기술 부분으로 넘어가는 구조로 되어 있습니다. 즉, 이론적 배경, 구현 방법, 그리고 실제 응용 사례의 구성인거죠. 이러한 구조는 독자가 트랜스포머와 자연어 처리에 대한 개념을 단계적으로 이해할 수 있게 도와줍니다. 각 장은 기본 개념 설명으로 시작해 점진적으로 복잡한 내용으로 나아가며, 실제 코드 예제와 응용 사례를 통해 이론을 실제 용례로 연결시킵니다. 또한 책 전반에 걸쳐 풍부한 그림과 도표가 제공되어 복잡한 개념을 시각화하여 이해를 돕고 있습니다. 그렇기에 서두에서 밝힌 바와 같이 저자가 상정한 대상 독자가 아니지만 교양 수준에서 접근하는 독자 역시 책에서 이야기하는 내용의 상당 부분을 이해할 수 있습니다. 이론적 깊이와 실용적 가이드를 균형 있게 제공하며, 최신 트렌드와 실무적 팁을 풍부하게 담고 있어 NLP 전문가를 목표로 하는 이들 뿐 아니라 교양서로서도 훌륭한 가치를 가지고 있는 책으로 추천드리고 싶습니다. #트랜스포머로시작하는자연어처리 #DenisRothman #김윤기 #박지성 #임창대 #하현규 #영진닷컴 #리뷰어스클럽 ※ 본 서평은 출판사로부터 도서를 제공받아, 직접 읽고 주관에 따라 서평을 작성하였습니다.
|
