|
2026년 9월 3일, 엔비디아는 오픈소스 AI 모델 공유 플랫폼인 허깅페이스를 약 17조 5천억 원에 인수하기로 합의했다. 도대체 허깅페이스는 어떤 곳이기에 엔비디아가 이처럼 막대한 금액을 들여 인수하기로 한 것일까? 허깅페이스는 흔히 'AI 업계의 깃허브'라고 불린다. AI 모델을 보관하고 공유하는 저장소일 뿐만 아니라 사용법과 예제를 확인하고, 클라우드에서 직접 모델을 구동할 수도 있다. 사실상 트랜스포머 생태계의 중심이자 AI 개발자들이 가장 활발하게 모이는 플랫폼인 셈이다. 이 책은 AI 개발자의 놀이터인 허깅페이스의 활용법을 A부터 Z까지 담고 있다. 허깅페이스 사이트 활용법을 시작으로 Transformers 라이브러리, 웹 애플리케이션 도구인 그라디오(Gradio), 랭체인, 라마인덱스, 랭플로우, 랭그래프, Ollama, GPT4All, MCP 환경에서 허깅페이스 모델을 활용하는 다양한 사례를 예제로 설명한다. 다루는 주제도 다양하다. 텍스트 분류·생성·요약·번역·질의응답부터 이미지와 영상의 객체 탐지, 오디오를 텍스트로 변환하는 작업, 파인 튜닝, RAG, AI 에이전트 프로그래밍, 챗봇, 판다스 데이터 분석, MCP 서버 구축과 활용법까지 폭넓게 다룬다. 책의 예제에서는 20개가 넘는 허깅페이스 오픈 웨이트 트랜스포머 모델을 다운로드해 직접 사용한다. 임베딩과 텍스트 모델은 물론 이미지, 비디오, 멀티모달 모델까지 포함한다. OpenAI의 GPT-4o와 허깅페이스 클라우드 API를 활용하는 예제도 소개한다. 여기에 트랜스포머 아키텍처, 토큰화와 임베딩의 개념, RAG와 MCP의 이론적 배경도 빼놓지 않고 설명한다. AI 개발자들은 ChatGPT, Claude, Gemini가 있는데도 왜 허깅페이스로 모일까? 제가 생각하는 이유는 세 가지다. 첫째는 프라이버시다. 기업과 개인은 자신의 데이터가 외부로 유출되는 것을 꺼린다. 둘째는 토큰 비용이다. 비용이 비싼 것도 문제지만, 실제로 얼마나 많은 비용이 발생할지 예측하기 어렵다는 불확실성이 더 큰 부담이다. 마지막은 오버엔지니어링 문제다. 우리가 해결해야 할 문제 중 상당수는 허깅페이스의 오픈 웨이트 모델로도 충분히 해결할 수 있다. 다만, 개발자의 수고가 조금 더 필요할 뿐이다. 이 책을 읽고 난 후 새롭게 알게 된 방법이 많았다. CPU 기반으로 실행할 수 있는 GPT4All을 비롯해 그라디오와 Transformers 라이브러리의 사용법을 새롭게 알게 되었다. 무엇보다 사용법이 생각보다 쉬웠다. 해결하고자 하는 문제에 적합한 모델을 허깅페이스에서 찾고, 사용법을 확인해 적용하기만 하면 된다. 예전 같으면 '아마 이렇게 하면 되겠지'라고 막연히 생각했겠지만, 이제는 책의 예제를 직접 실행하며 그 과정을 체득했다. 아쉬운 점도 있다. 소개된 모델의 대부분이 영어 중심이고, 예제 코드도 입문자를 위한 소개 수준에 머문다. 그럼에도 저처럼 예제를 하나씩 따라 실행해 보면 허깅페이스와 매우 친숙해질 수 있다. 이를 실제 문제에 어떻게 활용할지에 관한 아이디어도 자연스럽게 생길 것이다. 허깅페이스를 제대로 활용하고 싶은 분이라면 이 책으로 시작해 보기를 적극 추천드린다. #길벗 #허깅페이스인액션 #HuggingFace #HuggingFaceInAction #웨이멍리 #박지은 #OPENAI #그라디오 |
|
허깅페이스는 AI가 확대되면서, 많이 듣게되는 사이트 입니다. 최근에 엔비디아가 허깅페이스를 약 17조 6,000억 원에 인수계약을 하였고, 승인을 2027 상반기 예상됩니다.
그러면 어떠한 기술 및 서비스이기에 그렇게 큰 금액을 지불하면서 인수를 하려고 한는 것일까요? 매닝 출판사의 in action 시리즈의 책이 번역서로 출간되었습니다. 이 책을 통해서 허깅페이스의 기본부터 무엇을 할수 있고, 어떻게 활용할수 있는지 살펴보려고 합니다.
책의 후반부에는 아래의 사항을 다루는 고급주제를 다룹니다.
■ 허깅페이스란? · 오픈소스 머신러닝 모델을 구축하고, 학습하고, 배포하는 문화를 장려하는 AI커뮤니티입니다. 자연어 처리, 컴퓨터 비전 작업, 오디오 처리 작업등 여러 문제 영역에 최신화된 최신 모델을 제공합니다. 추가로 머신러닝 도구 뿐만 아니라, 사전 학습된 모델과 데이터셋을 호스팅하는 플랫폼도 운영합니다.
허깅페이스의 다양한 모델을 살펴봅니다. Models – Hugging Face Explore machine learning models. huggingface.co
· 실습환경은 아나콘다 설치 후, python기반으로 conda active HuggingFaceBook으로 환경 구성을 시작합니다. 아나콘다 환경에서 주피터 환경으로 진행합니다. 처음 보는 화면에서 실습을 잘 따라할수 있도록 화면이 잘 구성되어 있습니다.
요즘은 AI를 통한 바이브 코딩 및 결과가 바로 나오는것에 익숙하기는 하지만, 우리는 동작원리를 잘 알고 필요한 모델을 선택할수 있는 능력을 배우고 학습해야 합니다. 그런 점에서, 트랜스포머 아키텍처에 대해서 3장에서 이론을 설명해주고 있습니다. 인코더, 디코더의 개념 및 토큰화의 개념을 알아봅니다.
허깅페이스가 개발한 트랜스포머 라이브러리는 최신의 트랜스포머 기반 모델을 더 쉽게 활용해봅니다. 너무 많은 모델이 있는데, 어떠한 모델을 선택해서 고민할 부분이 많습니다. 책을 통해서 비전을 이용할때는 겸험을 하게 되는것이 좋습니다 .https://huggingface.co/facebook/detr-resnet-50 facebook/detr-resnet-50 · Hugging Face We’re on a journey to advance and democratize artificial intelligence through open source and open science. huggingface.co
이미지 분류 및 나이 분류를 위한 두가지 샘플 모델들도 사용합니다.
■ 허깅페이스 데이터셋 탐색, 토큰화, 시각화 최신의 오픈소스 머신러닝 모델을 개발, 훈련, 배포하는 AI플랫폼입니다. 훈련된 모델을 위한 허브를 제공하는 것 이외에도 다양한 사용가능한 데이터셋을 호스팅합니다. https://huggingface.co/datasets Datasets – Hugging Face Explore datasets powering machine learning. huggingface.co
· 사전 학습된 모델 파인 튜닝과 멀티모달 모델 작업 파인 튜닝은 도메인별 데이터로 모델을 훈련시켜 더 특화된 작업에 적응시키고 성능을 향상시키는 과정입니다. 이 부분에서 허깅페이스를 통해서 활용해보고, 이미지, 텍스트와 같은 멀티모달 탐색을 통해서 다양한 유형의 데이터를 결합하여 더 복잡한 작업을 수행하는 실습을 합니다. 파인튜닝에 대해서 실습을 어떻게 할수 있을지 아무런 준비가 없으면 수행하기 어렵습니다. 머신러닝 기법으로 이미 큰 데이터셋으로 부터 일반적인 패턴을 학습한 사전 학습된 모델을 더 작고 도메인에 특화된 데이터셋으로 추가 훈련에서 얻은 지식을 활용해서서 더 작은 데이터 작업에 특화된 작은 계산을 잘 수행할수 있게 하는 작업입니다.
허깅 페이스에서 제공하는 다양한 클래스를 사용하면서 실습합니다. Trainer, Training Arguments 클래스등 python코드를 통해서 작성합니다.
· 랭체인과 라마인덱스를 사용한 LLM기반 어플리케이션 구추 우리는 LLM구성시 랭체인 프레임워크를 많이 사용합니다. LLM모델은 라마를 사용하여서 어플리케이션 구성을 구축해봅니다. #협찬 |
|
AI를 업무에 사용하다 보니 허깅페이스는 자연스럽게 알게 된 플랫폼이었습니다. 하지만 이 책을 읽기 전까지는 개인이나 기업이 모델을 올리고 공유하는 곳 정도로만 이해하고 있었습니다. 이름은 익숙했지만, 모델을 내려받은 다음 무엇을 할 수 있는지는 막연했습니다. 『허깅페이스 인 액션』은 제목처럼 실제 활용 과정을 안내하는 책입니다. 텍스트 분류와 요약부터 데이터셋 처리, 파인튜닝, 문서를 활용한 질의응답까지 다룹니다. 특히 데이터를 준비하고 모델에 적용하는 과정을 순서대로 보여주어, 자주 듣던 용어들을 구체적인 작업으로 이해하는 데 도움이 되었습니다. 가장 관심이 갔던 부분은 그라디오로 화면을 만들고 허깅페이스 스페이스에 배포하는 과정이었습니다. 모델을 가져와 혼자 실행하는 데서 나아가, 다른 사람이 직접 사용해볼 수 있도록 공유하는 모습까지 떠올릴 수 있었습니다. 허깅페이스가 모델을 모아둔 곳이라는 제 인식도 그만큼 넓어졌습니다. 다루는 범위가 넓어 모든 내용을 한 번에 익히기보다는, 전체 흐름을 살펴본 뒤 필요한 예제를 다시 찾아보며 읽으면 좋겠습니다. 저처럼 업무에서 AI를 사용하고 있지만 허깅페이스를 어디서부터 활용해야 할지 고민하는 개발자에게 도움이 될 만한 책입니다. |
|
길벗으로부터 책을 협찬 받아 작성되었으며, 독자의 주관적인 후기가 담긴 서평입니다
허깅페이스 인 액션 서적은 파이썬 기초를 익혔고 AI 기능 개발이나 연구용 데모를 시작하려는 독자에게 특히 추천할 만한 도서라고 생각합니다. 넘파이 (Numpy)와 판다스 (Pandas) 사용 경험이 있다면 코딩 예제를 따라가기 더 수월하게 느껴질 수 있습니다. 또한 다루는 범위가 넓어 관심 분야에 대한 깊이 있는 접근법은 추가적으로 찾아보며 학습할 필요는 있지만, 허깅페이스 생태계를 한눈에 파악하기 좋은 유용한 실습서라고 생각합니다. |
|
정리하면, 이 책은 허깅페이스를 처음 접하는 사람에게는 생태계 지도를 그려주고, 이미 조금 써본 사람에게는 “이걸 실제 프로젝트로 어떻게 연결할까?”를 생각하게 해주는 책이라고 느꼈습니다. 특히 이런 분들께 추천합니다.
반대로 파이썬이나 딥러닝 기초가 전혀 없는 완전 초보라면 처음에는 다소 빠르게 느껴질 수 있습니다. 하지만 기본적인 파이썬 문법과 노트북 환경에 익숙하다면 충분히 따라갈 수 있는 구성입니다. #협찬 |
|
이 책은 지루한 이론 대신 주피터 노트북 환경에서 가상환경 세팅부터 데이터 전처리, 모델 파인튜닝, 배포까지 전 과정을 직접 손으로 코딩하며 체득할 수 있도록 이끌어 줍니다. 특히 단순 텍스트 분류를 넘어 최신 실무 트렌드인 LangChain·LlamaIndex 기반 RAG 파이프라인, Gradio UI, Langflow, 그리고 평소 꼭 구축해 보고 싶었던 MCP 서버 실습까지 폭넓게 다루고 있어, 단순 API 호출을 넘어 실전형 AI 애플리케이션을 직접 구현하고자 하는 개발자라면 반드시 읽어봐야 할 필독서라고 생각합니다.
|
|
이 책은 <길벗>출판사로 부터 도서를 제공받고 작성한 리뷰입니다.
총평- 책의 난이도 : ★★★☆☆
AI 모델 계의 Github 허깅페이스를 통해서 우리가 AI 모델을 다운받고 사용하는 것에 대한 기본 책인 허깅페이스 인 액션을 길벗출판사의 도움으로 읽어볼 수 있게 되었다.
사실 이제 AI에 대한 책은 많고 내용도 알차게 잘 서술되어있다보니 굳이 이걸 리뷰에서 다룰 필요는 없는 것 같고.
챕터 7랭체인과 라마인덱스를 사용한 LLM기반 애플리케이션 구축에 대해서 실제로 실습 노트를 적어보고자 한다.
일단 LangChain이라 함은 대규모 언어 모델(LLM)을 활용해서 애플리케이션을 쉽게 만들 수 있도록 해주는 오픈소스 프레임 워크이다. 우리가 LLM을 통해서 개발하려면 빠질 수 없는 툴이다.
랭체인 설치는 간단하다.
랭체인의 여러 구성요소 중 프롬프트를 템플릿화 하여 제공하는 promptTemplate를 만들보자. 단순한 질문/답변이 있는 템플릿이다.
흠 책에서는 1.3.11버전을 통해서 검증했다고 되어있는데 저는 에러가 나서 아래와 같이 바꿔서 하니까 되더군요. 위에 코드는 0.대의 오류라고하네요?
우리는 LLM에게 질문을 던지고 답변을 받는 애플리케이션을 만든다고 보면된다.
다음은 LLM을 선택해야하므로 허깅페이스에서 호스팅하는 LLM부터 시작해보자.
허깅 페이스에 회원가입을 한뒤 해당 경로에서 읽기 토큰 생성을 진행하자.
https://huggingface.co/settings/tokens Hugging Face – The AI community building the future. We’re on a journey to advance and democratize artificial intelligence through open source and open science. huggingface.co
이와 같이 허깅페이스 토큰을 지정한 뒤 허깅페이스의 LLM 활용을 위한 langchain-huggingface를 설치한다.
책에서는 zephyr-7b-alpha 모델을 사용해서 그대로 했습니다. 실습을 중간중간 따로 하다보니 그런건지 모르겠는데 이 모델을 단순히 호출하면 안되고, repo_id로 지정하고, provider를 featherless-ai로 지정해야 가능했다.
이는 api 호출방식의 변화 특히 endpoint_url이 deprecated 되는 이슈가 있어서 그런것 같다.
LLM 체인을 이제 생성해 볼텐데 프롬프트 템플릿과 모델(LLM)을 결합해 체인을 만들어 LLM에 대해 쿼리를 실행할 수 있다. 실제로 한번 모델을 호출해서 응답을 받아보자.
응답을 잘 받는것을 확인할 수 있다.
다만 이와 같이 다음 질문을 넘기게되면 메모리가 없기 때문에 he라는 대상을 알지 못한다. 이럴때 우리는 체인을 생성한다.
아래와 같이 history 변수에 기존에 응답을 담도록 하고 while 루프에 두면 해당 세션에서는 질문을 계속 누적해서 메모리에 둘 수 있다. 다만 이 해당 메모리 값이 response를 담기 때문에 저 수많은 단어들(즉 토큰)이 모두 축적되게 된다는 단점이 생긴다. (이는 사실 추후에 생각하도록하자)
이 방식을 직접 지원하는 클래스가 있는데 RunnableWithMessageHistory 클래스가 바로 그것이다. /opt/anaconda3/lib/python3.12/site-packages/IPython/core/interactiveshell.py:3577: LangChainDeprecationWarning: RunnableWithMessageHistory is deprecated. Use LangGraph's built-in persistence instead. exec(code_obj, self.user_global_ns, self.user_ns)
난 아래 코드로 호출확인을 해보았다. 특히 2번째 PromptTemplate를 import할때 langchain_core.prompts 를 넣어줘야 가능했다.
다음은 이제 허깅페이스 모델이 아니라 openai와 같은 상용 api를 사용하는 경우이다. openai 모델 활용시에도 openai_api_key를 등록하고 langchain_openai에서 클래스를 임포트 해서 사용하면된다.
자 여기 까지 실습을 잘 했다면, 다음 단계는 RAG 기법을 통해서 우리 데이터를 직접 임베딩 해서 사용하는 방법을 책에서 소개하고 있다. 책에서 제공한 코드는 영어 전용 모델이라서 한국어가 가능한 다른 모델을 찾아서 사용하는 것을 추천한다.
이상으로 실습은 여기까지로 마치고, 내 로컬모델을 활용해 애플리케이션을 개발해보고 싶은 사람이라면 적극 추천한다.
참고로 책이 1년전 출판된 책이다보니 AI 발전상 1달만 있어도 변화가 있는듯하다. 그래서 옆에 gpt혹은 claude를 두고 같이 학습하는걸 권한다.
책에 대한 코드는 아래 깃헙에서 확인할 수 있다. |