|
"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해 책을 협찬 받아 작성된 서평입니다." 생성형 AI, 특히 LLM이나 SLM을 활용한 애플리케이션 개발을 다루는 책이 넘쳐나는 요즘이다. OpenAI/Gemini API 활용, 프롬프트 엔지니어링, 랭체인, RAG, AI 에이전트를 다루는 책은 많지만, 우리의 최종 목표는 개발한 애플리케이션을 제품화하여 서비스하는 것이다. 그런데 대다수 도서들의 개발 환경은 코랩이다. 제한된 인프라 환경에서 애플리케이션을 개발하면서도 성능과 관련된 고민이 계속 머릿속을 맴돌고 있었다.
👥 추천 독자
🏷️ 키워드 #LLM #SLM #RAG #생성형AI #벡터데이터베이스 #파인튜닝 #추론 #프롬프트엔지니어링 #벡터스토어 #캐싱 #제미나이 #KV캐싱 #LLMOps #TensorRT #GPU가속도구 #CPU가속도구 #TensorRT #모니터링 #옵저버빌리티 #Mistral #양자화 #PEFT #LoRA #Prometheus #Orca #Phi #Gemini - 비용관점에서 LLM의 주요 계층인 인프라, 모델, 애플리케이션, 벡터 데이터베이스등 전반적인 서비스의 최적화 방안을 소개한다. - 다양한 논문의 소개와 함께 논문의 내용에 담긴 인사이트를 설명한다. - 서비스 시나리오와 워크 플로우를 시퀀스다이어그램 형태로 이해하기 쉽게 설명한다. - 비용과 성능의 두 가지 관점을 자세히 설명하고, 도메인이 맞게 독자들이 선택할 수 있도록 해결법을 제시한다. - 생성형 AI 도입을 위한 팀 구성과 최신 트렌드(MOE, 멀티모달, 에이전트)를 소개한다. 📚 책의 구성 이 책은 전체 6개 장으로 구성되어 있다.CHAPTER 1 "LLM 기초"에서는 LLM의 역사, 생성형 AI와 LLM의 차이, 생성형 AI 애플리케이션의 3계층(인프라, 모델, 애플리케이션), LLM 기반 애플리케이션 시퀀스 다이어그램, 성능 측정시 고려해야 할 요소들을 설명한다.  ＜1장 LLM기초 - 언어 모델의 진화 나무, p26~p27＞CHAPTER 2 "비용 최적화를 위한 튜닝 기법"에서는 모델의 파인튜닝 방법과 파인 튜닝 비용과 성능의 상관 관계를 설명하고 효율적인 비용최적화 서비스 방안을 설명한다. CHAPTER 3 "비용 최적화를 위한 추론 테크닉"에서는 프롬프트 엔지니어링, 벡터스토어, 캐싱전략, 배치 프롬프트, 모델 최적화 등 추론 관점에서 비용 최적화 방안을 설명한다.  ＜3장 비용 최적화를 위한 추론 테크닉 - 긴 문서를 위한 병렬 처리 시퀀스 다이어그램, p124~p125＞ CHAPTER 4 "모델 선택과 대안"에서는 제한된 환경에서 LLM 서비스에서 효율적인 모델 활용법과 성공적인 사례를 설명하고  ＜4장 모델 선택과 대안 - 다양한 모델의 훈련하는 데 필요한 컴퓨팅 용량, p180~p181＞ CHAPTER 5 "인프라 및 배포 튜닝 전략"에서는 LLM 서비스를 위한 최적화된 하드웨어 활용법과 배치 크기 조정등의 배포 튜닝 방법을 비용과 성능을 고려하여 설명한다.  ＜5장 인프라 및 배포 튜닝 전략 - LLMOps의 단계, p252~p253＞ ＜6장 성공적인 생성형 AI 도입의 열쇠 - 생성형 AI 초기 팀 구성, p266~p277＞ 🔖 인용 ✨ 소감
💡 추천 생성형 AI 애플리케이션을 개발 중이거나 AI 서비스 도입을 고려 중이라면, 이 책을 통해 미처 생각하지 못했던 다양한 관점과 전략을 발견할 수 있을 것입니다. #슈레야스수브라마니암 #김현준 #박은주 #한빛미디어 #LLM서비스설계와최적화 #LLM #LLMOps #MLOps #yes24 |
오랫동안 기다려온 책이 출간되어 너무 기뻤다. 이 책은 LLM 서비스 구축을 위한 거의 모든 것을 다루고 있고 특히 그동안 레퍼런스가 부족했던 내용들이 가득담겨 있어 매우 유용하다. LLM 서비스 구축을 위한 핵심 주제인 그동안 LLM을 만드는 데 집중해 온 시기였다면 이제 본격적으로 이를 활용하여 저마다의 가치에 AI를 입히고 서비스를 고려하는 단계에 이른 것 같다. 이를 위해 고민해야 할 사항이 많지만 그 중에서도 가장 두려운 요소는 역시 그렇다고 잘 만들어진 LLM 활용에 집중한다면 비용 문제에서 해방될 수 있을까? 아래 그림은 이래 그림은 이에
이렇게 1장에서 LLM 관련 전반적인 비용 문제의 개요를 다뤘다면 2장에서는 비용을 1순위로 두면서도 사내 LLM 기반 인프라 설계 전략을 수립하는데 다양한 방향성을 제시하고, 더불어 최대한 원하는 성능을 보장할 있는 다양한 방법론을 제시하고 있다. 먼저 비용을 산정하는데 있어 매우 유용한 이를 통해 파라미터를 얼마나 효율적으로 관리하는 것이 중요한 문제인지 도출된다. 책에서는 그 외에도 특정 작업이나 3장에서는 추론 테크닉에 집중한다. 통상적으로 널리 알려진 대표적인 프롬프트 엔지니어링 기법 - 예를 들어, 그 외에도 자주 발생하는 질의에 대한 백터 스토어 캐싱 방법, 이 외에도 4장은 트레이드 오프를 고려한 실제 업계에서 소형 모델을 도입하여 비용을 절감하면서도 원하는 성능을 발휘하는 성공사례를 몇가지 소개한다. 양자화를 활용한
5장에서는 IT나 배포 등 기반 인프라에 대한 비용 절감 방안을 고민한다. 아래 도표와 같이 이 문제를 해결하기 위해 어떻게 메모리를 효율적으로 사용할지에 대한 다양한 연구 결과 및 방법론이 소개되는데 모델의 일부 파라미터만 저장 및 처리하는 방식이 그 중 하나이다. 그 외에도 16비트와 32비트 부동소수점을 혼합적으로 활용하는 특히, KV캐싱 문제에 있어 최적화된 병렬 자동화 기법을 이용한
마지막 6장에서는 앞서 배운 것들 외에도 소프트 스킬 측면에서 성공하기 위한 전략을 제시하고 있어 유익하다. 구체적으로 인력 관리 측면이나 미래를 위한 트렌드를 가이드 해준다. 먼저 인력 측면에서 다양한 전문가가 필요한 데 도메인, 데이터 전문가는 물론 숙련된 레이블러, 법률 전문가도 필요하다. 더불어 교육 - 혁신 환경 조성 - 내부 프로세스 검토의 선순환을 위한 HR이 중요한 부분이다. 특히, 10인 정도의 최초 마지막으로 미래 트렌드를 세가지로 종합하여 보여주는데 가장 최신 트렌드는 Agent를 실제 구현 및 테스트 할 수 있는 베이스라인 코드 소개를 끝으로 이 책의 긴 여정은 마무리 된다. 정리하자면 회사에 LLM 서비스를 도입하는 데 있어 반드시 검토해봐야 할 주제들을 거의 모두 다루고 있는 현 시점 매우 귀한 가이드라고 할 수 있겠다. 이 책이 제시하는 하나하나의 방법론들을 숙지 및 고민하지 않고 서비스화에만 몰입할 경우 추후 감당할 수 없는 비용 문제에 같은 고생을 반복하게 될지 모른다. 그렇기에 LLM 서비스를 고민하는 관련자라면 반드시 정독할 것을 추천하는 바이다. |
|
👍 좋았던 점
🧠 이런 분들께 추천합니다!
|
|
"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다." 최근 OpenAI의 GPT 스리즈와 구글의 재미나이, 메타의 라마 등 LLM에 대한 관심이 폭발적이며, 관심의 증가세는 줄어들줄 모르는 형세 입니다. 비단 취업을 준비하는 대학생 뿐만 아니라 이미 개발의 깊이가 있는 시니어 레벨의 현업 개발자까지, LLM을 접목한 애플리케이션을 구상합니다. 하지만 높은 비용과 인프라 부담 때문에 많은 이들이 실제 서비스 구현을 알아보고 망설이게 됩니다. 이 도서, LLM 서비스 설계와 최적화는 이런 문제에 명쾌한 대답과 해설을 제시합니다. 이 책은 AWS의 수석 데이터 과학자인 슈레야스 스브라마니암 박사가 현장에서 얻은 풍부한 경험을 바탕으로, 성능을 희생하지 않으면서도 비용을 획기적으로 절감할 수 있는 실무 노하우와 전략을 제시합니다. 모델 선택, 데이터 전/후처리, 프롬프트 엔지니어링, 인스트럭션 파인튜닝 등 LLM 할용 전반의 핵심 주제의 이론부터 실전까지 폭넓은 내용을 친절하게 설명하고 있으며, 비용과 성능의 최적화와 이들간의 절묘한 무게중심을 잡는 방법을 안내합니다. 이 책의 핵심 주제는 LLM 기반 서비스의 비용 최적화 입니다. 총 6개 장에 걸처 생성형 AI 서비스를 설계하고 운영하는 전과정을 다루고 있으며, 성능 저하를 최소화하면서도 비용을 효과적으로 줄이는 방버을 다양한 각도에서 모색하며 함께 생각합니다. 예를들면 모델 선택부터 프롬프트 기법, 파인튜닝, 배포에 이르기까지 각 단계별 최적화 전략을 제시하여 적은 자원으로도 높은 성능을 내는 방법을 고민합니다. 이를 통해 독자는 기업환경에서 LLM을 실제로 활용할 때 마주하게 되는 난제인 인퍼런스와 인프라 비용을 어떻게 해결할 수 있는지 구체적으로 배우게 됩니다. 결국 이상적인 AI인퍼런싱인 똑똑하게 최적화된 AI, 최대의 AI성능과 가치 실현의 방안을 알려준다고 할 수 있습니다. (1장) 생성형 AI 기초와 비용 최적화의 필요성 : 생성형 AI와 LLM의 기본 개념과 상용화 과정에서 직면하게 되는 도전 과제들을 이해하기 쉽게 풀어써 줍니다. 특히 비용 최적화가 왜 필수적인지 다양한 사례와 구체적인 데이터를 제시하여 내용을 더욱 설득력게 만듭니다. 이를 통해 독자들은 왜 LLM 서비스의 구현단계에서 반드시 비용문제를 고려해야만 하는지 명확하게 이해할 수 있습니다. (2장) 파인튜닝(PEFT)을 통한 비용 효율화 : 대부분의 LLM은 거대해서 전체 모델을 매번 파인튜닝 하는것은 매우 비효율적입니다. 이에대한 해결 방법중 하나로 LoRA, 프롬프트 튜닝 등 일부 파라미터만 조정하여 계산 비용을 절감하는 파라미터 효율적 파인튜닝(PEFT)을 소개하며 특정 용도에 맞게 커스터마이징 하는 기법을 다룹니다. Falcon 40B 모델 등 실제 사례를 통해 PEFT적용시 비용 절감효과와 성능 변화를 분석하고 효과를 확인하며, 전체 파인튜닝 대비 경량화된 훈련기법의 실용성을 배우면서 이에 대한 원리와 이점을 깊이있게 이해하게 됩니다. (3장) 효과적인 추론 최적화 전략 : 가장 실용적인 내용의 챕터이며, 프롬프트 엔지니어링 기법에서 부터 텍스트 요약, 배칭 프롬프트 처리, 모델 최적화에 이르기 까지 다양한 LLM 추론 테크닉을 소개합니다. 이를 기반으로 실제 서비스 운영 단계에서 추론 비용을 획기적으로 낮출 수 있는 다양한 전략을 소개합니다. 특히 긴 문서를 효율적으로 처리하는 체인 구조, 텍스트 요약을 활용한 전처리 기법 등 실제로 실무에 적용 가능한 구체적인 사례를 제시하는데, 현장에서 이를 바로 활용할 수 있는 금가루 팁도 얻을 수 있습니다. 프롬프트 구성과 추론 효율화에 관한 다각도의 전략도 습득할 수 있습니다. (4장) 소형 모델과 도메인 특화 모델 선택 : 모든 기업이 GPT-4 레벨의 초거대 모델을 사용할 필요는 없습니다. 적은 자원으로도 미션과 목표 달성에 충분한 성능을 낼 수 있는 소형 모델(SLM)과 도메인 특화 모델을 선택하는 기준을 제안하면서, 메타의 미스트랄, Zephyr, Phi 등 최신 소형 모델들의 성공사례를 함께 제시합니다. 범용 모델을 활용한 프롬프트의 성능 섹션에서는 현재 사용 가능한 오픈 API 기반 모델들을 최대한 똑똑하게 활용하는 방법을 다루며, 작은 모델과 대형 모델 각각의 장단점을 전략적으로 비교합니다. 선택할 수 있는 다양한 모델을 테이블위에 펼쳐 놓고 선택지를 비교 분석하며 실제 개발과 운영환경에서의 고려할 요소와 대체 모델의 현실적인 가능성 중 합리적인 선택을 하는 방법을 배우게 됩니다. (5장) LLM 인프라 및 배포전략 : 실제 LLM 서비스 단계에서 가장 크게 고민되는 부분은 운영에 지속적으로 소요되는 큰 비용입니다. LLM 서비스를 운영 환경에 배포하고 인프라를 최적화 하는 방안을 폭넓게 다루며, 운영시 비용을 줄이고 효율을 높이는 전략을 제시합니다. GPU오 ㅏCPU를 혼용하거나 클라우드 비용을 절감하거나 시스템 자동화 모니터링을 통한 지속적인 최적화를 다룹니다. TensorRT, DJL Serving 등 GPU 및 CPU 가속화 도구를 활용하여 하드웨어를 효율적으로 사용하고 모니터링과 옵저버빌리티 기법을 통해 비용 관리 전략을 세우는 등 실무에 고려해야만 하는 매우 실용적인 안내를 합니다. 특히 자동화된 배포 튜닝 전략은 클라우드 인프라 비용을 획기적으로 낮츨 수 있는 노하우로 독자는 LLMOps 관점에서 인프라 설계와 운영 튜닝에 대한 종합적인 지식을 얻을 수 있습니다. (6장) 성공적인 생성형 AI 도입 전략과 미래전망 : 마지막장은 전체 내용, 특히 성능과 비용의 균형 관점을 종합적으로 정리하면서 생성형 AI를 도입에 성공하기 위한 팀 구성 및 전략적 접근법을 다룹니다. 미래의 트렌드로 MoE(전문가 혼합 모델), 멀티모달 AI, Ai 에이전트 등에 대한 통찰을 제공하여 독자들에게 보다 넓은 시야와 균형잡힌 시선을 가지는 방법을 알려줍니다. 빠르게 변화하는 AI 환경 속에서도 지속 가능한 서비스 전략을 수립하는 통찰을 얻게 됩니다. 본 도서의 가장 큰 장점은 다른도서에서는 등한시하는 경향이 있는 LLM 서비스의 비용 문제를 명확하게 인지하고 이를 깊이있게 파고들어 구체적인 해결책을 제공한다는 점입니다. 단순히 모델의 활용법이나 이론 설명에 그치지 않고 실제 운영 환경에서 마주치는 현실적인 문제들을 구체적으로 다룬다는 점은 타도서에서는 찾기 힘든 확실한 차별점입니다. 반면, 모든 주제를 다루려 하다 보니 특정 기술의 깊이나 독특한 사용 사례, 기술별 적용 방안에 대한 양적인 부분에 있어서 다소 아쉬울수 있습니다. 특히 다른 도서에서도 간헐적으로 느끼는 부분인데, 제시된 각 기법의 한계점에 대한 심층 논의도 부족한 편입니다. 또한 AI 분야의 발전 속도가 워낙 빠르다 보니 최신 모델이나 트렌드 내용은 책 출간 이후 새롭게 등장한 셋터도 있습니다. 구체적인 실험 데이터와 소 주제별 현업 사례가 더욱 풍부하다면 더욱 완벽했다고 느낄 수 있을 수도 있겠습니다. 하지만 도서의 분량과 내용은 이 책이 제공하려고 하는 핵심가치를 훼손하거나 부족하지 않습니다. LLM 서비스 설계에서 가장 현실적인 문제는 비용입니다. 생성형 AI 서비스 개발에서 비용 최적화는 더 이상 선택이 아닌 필수이며, 이를 노골적이고 직접적으로 다루는 책은 흔치 않습니다. 이 책은 한권으로 LLM 실무 지식을 폭놃게 습득할 수 있는 효율적인 방법입니다. 기술적인 팁부터 비즈니스 관점까지 아우르는 내용은 스타트업부터 엔터프라이즈까지 실무자부터 의사결정권자까지 모두에게 통찰을 제공합니다. 책 내용은 일관되도록 핵심 주제를 관통하고 있으며, 책에서 제시한 개념과 기법들을 토대로 독자가 직접 실험하고 확장하는 과정을 통하여 자연스럽게 더 큰 통찰을 얻을 수 있도록 구성되었습니다. 아무래도 저자가 AWS 현업 전문가다 보니 이또한 신뢰를 주며, 각장의 내용을 따라가다 보면 자연스럽게 LLM프로젝트를 처음부터 구현하고 임퍼런싱하고 배용을 지불하는 방법까지 완전한 사이클을 익히게 됩니다. 한정된 자원으로 최고의 성과를 내고 싶은건 기본적인 욕망입니다. AI 기술 환경속에서 지속가능한 성능과 비용의 균형잡힌 길을 찾고 있다면 이 책이 그 사이 안개를 걷히게 해줄 수 있는 마법 주문이 될 것입니다. |
|
|
"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다." # LLM(Large Language Model) 이란? 리뷰하기에 앞서 책 제목에 크게 쓰여있는 LLM에 대해 알아보겠습니다! 요즘 LLM이 인공지능 분야에서 되게되게 핫한 분야, 뜨거운 감자로 각광받고 있는데욥 요즘 모르는 사람들이 없다는 OpenAI의 챗GPT(ChatGPT), 구글의 제미나이(Gemini) 역시 LLM에 속합니다! LLM은 방대한 데이터를 학습한 AI인데요 언어이해 및 생성, 요약, 번역 코드작성 등 다양한 작업에서 인간처럼 혹은 인간을 뛰어넘는 수행능력을 보여주고 있습니다. 이런 기술이 발전하면서, 영화 ‘터미네이터’처럼 인간 수준의 지능(AGI)이 실제로 나올 수 있다는 기대와 논의가 활발지고 있는데요 즉, LLM의 뛰어난 언어 능력과 문제 해결력 덕분에 “AI가 인간처럼 생각하고 행동하는 시대가 올까?”라는 화두가 생겨난 것입니다!! # 책 구성 해당 책은 외국에서 발간된 책을 번역한 서적인데욥 Large Language Model-Based Solutions: How to Deliver Value with Cost-Effective Generative AI Applications IT 분야 도서에서 자주 접하는 와일리(Wiley) 출판사에서 출간한 책입니다! 특히 해당 책의 원저자인 슈레야스 수브라마니암(Shreyas Subramanian)은 인도계 미국인 데이터 과학자로, AWS의 데이터 사이언티스트로 재직중이라고 합니다! 이 책의 부제는 '비용은 낮추고 성능은 극대화하는 AI 서비스 구축과 운영 가이드' 인데욥 말 그대로 대규모 언어 모델(LLM) 기반 AI 서비스를 설계하고 최적화하는 방법에 대한 가이드를 제공합니다 특히 원저자께서 실제로 현업에서 활발히 활동하는 분이시다보니 LLM 이론 뿐만 아니라 LLM 기반 서비스 개발, 운영에 필요한 실무적인 지식을 구체적으로 제시합니다! 목차에서도 알 수 있듯이 LLM 이론 + 다양한 튜닝기법, 비용최적화 테크닉, 배포 등 실무적인 측면도 제시합니다 특히 각 카테고리별로 간단히 넘어가는 것이 아니라 매우 구체적인 이론 + 코드를 제시하고 있습니다! 해당 LLM 모델을 실습해볼 수 있는 허깅페이스 링크 + 해당 내용의 근거자료인 논문이 기재된 아카이브(arXiv) 링크도 주석으로 제공되어 있으니 해당 파트에 대해 더 심화적으로 알아볼 수 있습니다! # 그래서 누구에게 추천하는가? 해당책을 읽어 보니 크게 두 부류의 사람들에게 추천하면 좋겠도라구욥 1. LLM 서비스를 운영하며 비용을 절감하고 성능을 극대화해야 하는 LLM 전문가 2. 딥한 실력은 없지만 LLM에 대해 관심이 있는 독자 LLM 서비스와 관련해서 매우 구체적으로 특히 최신 트랜드, 연구방향 등을 총망라해서 볼 수 있는 책으로, 해당 분야의 전문가들이 보면 매우매우 좋겠다는 생각이 들었구요 혹은 저처럼 LLM에 대해서는 구체적으로는 모르지만 관심이 있는 독자들에게 추천합니다! 저는 개인적으로 LLM기술에 대해 이론적인 측면에 대해서만 주로 접해봤는데요 실제 LLM이 현업에서 서비스 될 때 고려해야하는 성능, 비용, 인프라 측면들을 알아볼 수 있어서 매우 유익했던 것 같아요! (비용적인 측면에서 도메인 특화 모델 or 매우 큰 모델 어떤 모델을 선택하는 것이 좋을지,부분적으로 파인튜닝 진행할지 or 초기부터 사전학습으로 모델 새롭게 구축할지 등) 하지만 어느정도 AI 특히 LLM과 관련된 지식이 필요한데요 완전 뉴비가 처음 책을 펴서 읽기에는 처음보는 외계어일거에요,,,, |
|
"한빛미디어 서평단 ＜나는리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다."
생성형 AI 서비스, 누구나 한 번쯤은 만들어봤을 것이다 GPT API 연결하고, 사용하고자 하는 목적에 맞게 프롬프트 구성해서 결과 뽑고, UI까지 붙이면 데모까지는 쉽게 나온다 거기다 웹이나 앱 같은 UI 화면도 이런 ChatGPT를 사용하여 혼자서 구현하는 것이 가능하다
LLM 서비스 설계와 최적화는 바로 그 다음 단계에서 방향을 잡지 못하고 있는 팀을 위한 책이다 제목 그대로, LLM을 이용해 생성형 AI 어플리케이션으로 만들기 위해 어떤 부분들이 고려되어야 하는지를 다루고 있다 데모에서 프로덕션으로 넘어가기 위한 설계와 비용 최적화 전략을, 이론이 아니라 실무의 언어로 풀고 있기에 관련된 지식들이 필요하고 책의 난이도 자체가 있는 중고급자를 위한 책이다 따라서 개발적인 내용보단 설계, 전략에 대한 이론을 좀 더 중점적으로 다루고 있다
이 책은 단순히 LLM 기술을 소개하는 책이 아니다 LLM에 쓰이는 RAG, LangChain 등의 문법과 코드를 다루는 자료들은 많이 존재한다
이런 사람들에게 실제 결정에 쓸 수 있는 프레임워크를 제공한다 |
 LLM 서비스 설계와 최적화 - 저자: 슈레야스 수브라마니암번역 : 김현준, 박은주 한빛미디어 서평단 ＜나는 리뷰어다＞ 활동을 위해서 책을 협찬 받아 작성된 서평입니다. 생성형 AI와 LLM은 복잡한 작업을 수행하기 때문에 상당한 컴퓨팅 자원이 필요하다. 방대한 컴퓨팅 자원 수요를 해결하기 위해 기술을 도입하는 비용은 조직에게 부담이 된다. 실제로 책에서 말하는 바에 따르면 최첨단 AI 모델 훈련비용이 2016년 이후 매년 2.4배씩 증가하고 있다고 한다. 현재 가장 비용이 많이 든 공개 모델은 우리가 익히 잘아는 GPT-4와 구글의 Gemini Ultra이다. 모델 서비스를 유지하는데도 상당한 비용이 든다. 오픈 AI는 모델 서비스를 유지하는데 하루에 70만 달러를 사용한다고 한다. 따라서, LLM 서비스를 도입하고자 하는 기업에게는 비용 최적화가 가장 중요한 과제가 된다. 이 책에서 가장 재미있게 읽었던 3장은 LLM에 중점을 두고 추론 비용을 최적화하는 다양한 기술을 소개한다. 그중에서 한가지가 바로 프롬프트 엔지니어링이다. 프롬프트에 대한 이해도는 작업의 성능과 비용에 큰 영향을 미친다고 한다. 프롬프트 엔지니어링은 LLM과 상호작용할 때 중심이 되는 기법으로, 모델이 원하는 출력을 생성할 수 있도록 프롬프트를 구성하는 것을 말한다. 프롬프트와 모델의 응답에서 사용하는 각 단어나 토큰은 비용을 발생시키는데, 오픈 AI의 GPT-4o는 입력 100만 토큰당 2.50달러이고, 출력은 동일 토큰에 10달러의 비용이 든다. 이를 추정하기 위해 라이브러리 tiktoken을 활용할 수 있는데, 책에서는 예시로 요청을 보내고 tiktoken을 통해 요청의 비용을 계산하는 과정이 소개되어 있다. GPT를 사용하기만 하고, 비용에 대해서는 고려하지 않았는데 응답 한번에 상당한 비용이 소모된다는 점을 배웠다. 프롬프트 엔지니어링을 위해, 복잡한 질문을 더 간단한 질문 여러 개로 분해하면 조정하기 편한 응답을 얻을 수 있다. 각 질문을 순서대로 하면서, LLM이 이전 답변을 기반으로 논리적인 순서로 정보를 탐색하도록 하는 것이다. 예를 들면, 단순히 당뇨병에 대해 설명을 요구하지 않고, 당뇨병에 대한 간단한 설명 - 종류 - 세분화된 증상 - 진단 방법 - 치료 방법 순으로 질문하게 되면 사용자가 원하는 핵심적인 답변을 얻을 수 있다. 또는 컨텍스트를 제공해서 LLM이 정확한 응답을 할 수 있도록 만드는 방법도 있다. LLM이 사용자의 요구사항을 잘 이해하도록 프롬프트에 추가정보를 제공하는 것이다. 이외에도 LLM의 성능과 비용을 최적화하는 다양한 기술들이 있으며, 책에서는 코드를 통해 예시를 직접 보여준다. LLM 서비스 구축에 관심 있는 사람이라면 꼭 읽어보아야 할 책이다. 이 책의 주제인 비용 최적화를 위해 모델을 선택하는 과정과, 모델을 배포할 때 드는 비용과 성능에서 고려할 사항들이 다음 장에 소개된다. 설명으로 끝나지 않고, 각각의 선택지를 선택했을 때의 장단점과 예시들이 그림이나 표로 이해하기 쉽게 정리되어 있어서 각각의 모델과 배포 방법을 선택하는데 큰 도움이 될 것이다.
#LLM #최적화 #비용최적화 #AI서비스구축 #인프라 #배포튜닝 #한빛미디어 #LLM서비스설계와최적화 |
|
LLM을 서비스에 적용하기 위해서는 적절한 프롬프트와 모델을 선택하여 사용자가 원하는 질의에 답변을 제공하는 것이 가장 중요하다. 하지만 이에 못지않게 세심히 고려해야 할 사항이 있다면, 유지 보수에 따른 관리 비용과 LLM 서비스 설계의 최적화라 할 수 있다. 연구 단계에서의 LLM은 앞서 언급한 바와 같이 사용자가 요청한 질의에 대한 적절한 응답을 내려주는 것이다. 하지만 이를 현실 세계에 적용하는 것은 또 다른 문제이다. 이를 고도화하고 산업현장에 적용하기 위해서는 실리에 맞는 비용이 들어가게끔 단가를 낮추(감축) 는 것이 핵심이기 때문이다. 알파고가 세상에 등장한 이후로, 전산학 분야는 AI에 있어서 상당한 급진적 진보를 이루었다. 그럼에도 그동안 이를 현실 세계에 적용하기에 쉽지 않았던 점은 일반 사용자가 접근하기 어렵다는 것과 설령 일반 사용자가 사용할 수 있더라도 이에 대한 막대한 유지 보수 비용 때문이었다. 그런 점에서 이번에 출간된 'LLM 서비스 설계와 최적화' 책은 LLM의 성능과 비용 두 가지 토끼를 잡기 위한 훌륭한 접근법을 다수 소개했다는 부분에서 의의가 크다. 【책 내용 요약】 이 책은 LLM에 대한 기초지식이 없이 접근하기엔 약간의 진입장벽이 있는 책이므로, LLM 관련 기본 지식이 충분하지 않은 분들이라면 추후 본인의 역량이 어느 정도 성장한 후에 읽어보시길 권장한다. 책의 내용은 크게 비용 절감, LLM 기술 스택별 최적화/고도화/튜닝 기법 등으로 이루어져 있다. 첫 번째 챕터의 경우, 모델별 사용자 입력 크기에 따른 예상 비용을 꼼꼼히 정리했던 부분이 상당히 인상적이었다. 책에서 크게 다루는 부분은 아래와 같다.
만약 지금 실 서비스에 LLM을 접목하기 위해 고민하는 개발자분들이 계신다면 위의 내용들을 참고하여 본인에게 필요한 부분을 선택하여 학습하길 권장한다. 【 LLM 서비스 설계와 최적화를 읽고 나서 】 연구와 서비스의 가장 큰 차이는 고려해야 할 환경 변수와 유지 보수 비용의 차이이지 않을까 싶다. 연구는 연구하려는 주제를 특정 상황 하에 진행하는 반면 현실에 적용되는 서비스 / 기술은 사용자에게 노출되는 수많은 환경 변수 하에 구축되고 제공되기 때문이다. 그렇기에 수많은 연구들이 제안되고 제시되었으나 대다수가 현실성이 떨어진다는 이유로 사장되거나 현실화되지 못했었다. 하지만 LLM이 고도화될수록, AI가 대중화될수록 기존에 존재했던 연구와 서비스 사이의 괴리가 이전보다는 쉽게 매워지지 않을까 싶다. LLM의 막대한 인공 신경망은 이전에 사람들이 쉽게 도출하지 못했던 지식의 결합과 연계를 너무나 자연스럽고 빠르게 수행할 것이기 때문이다. 이는 연구 / 서비스 개발 분야의 새로운 지표로써 다가설 것이며 나아가 세상을 한층 더 가속화하여 변화 시킬 것이다. 이제는 LLM 없이 산업 세계에서의 생존을 보장하기 어려운 시대가 되었다. #본 도서는 "한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다. ###### 감사합니다 ###### |