소스코드 다운로드

https://github.com/bjpublic/unsupervised

비지도 학습과 지도 학습을 구분하는 명백한 기준은 목적 변수의 존재 여부이다

목적 변수가 있는 경우를 지도 학습, 없는 경우에는 비지도 학습이라고 한다

목적 변수가 없다는 것은 시험 문제는 있는데 채점할 답안이 없다는 말과 같다

우리가 머신러닝을 하는 대부분의 경우, 적게는 수천 개에서 많게는 수천만개의 데이터를 가지고 있다

모든 문항의 답안을 만드는 일은 현실적으로 불가능 하다

비지도 학습은 답안을 이끌어 내는 것을 최대한 유추하고, 일반화하는 과정이라고 할 수 있다

데이터에서 패턴을 찾아 정의하고, 결과로 도출하는 과정을 반복해서 시행하여야 하며, 데이터의 수많은 경우의 수로부터

원하는 패턴이라 판단하고 추론하는 것도 데이터를 다루는 독자의 몫이 된다

하지만 비지도 학습의 사용법을 익힌다면 답안을 하나씩 확인하는 것 보다 수십, 수백 배는 빠르게 목적에 도달할 수 있게 해줄 것이다

서평

최초로 국내의 저자가 약 2년간 쓰고 고치기를 반복하며 집필한 파이썬 비지도 학습을 전문으로 다루는 책이다

이 책은 크게 차원 축소, 이상치 탐지, 군집화, 텐서플로를 사용한 코드 구현 오토 인코더로 구성이 되어있다

책 전반적으로 비지도 학습의 이론을 간단하게 살펴본다음 알고리즘의 이론과 수식을 여러 단계로 나누고 파이썬 코드 별로 

단계별로 실습 해보고 결과들을 확인해볼 수 있도록 상세하게 구성이 되어있다

최대한 상세히 표와 그림을 첨부 해가며 수식을 이해하고 또 파이썬 코드로 상세히 설명하면서 진행하는 부분이 

매우 마음에 들었다

이 책의 상당부분의 분량을 차지 하고 있는 군집화와 오토 인코더는 책의 분량 만큼이나 매우 중요한 내용이다

군집화 파트는 군집화 과정과 희소행렬 만들기, 거리 측정법의 소개, 군집화 알고리즘 파트로 진행되며

역시 상세한 이론 설명과 함께 데이터와 파이썬 코드로 직접 군집화 과정을 진행해나가면서 이론을 몸에 체득할 수 있도록 도와준다 

자주 사용되는 군집화 유형이 다른 네가지 군집화 알고리즘을 살펴보고 실제로 코드로 구현해보고 원리를 이해 하고 나서

본격적으로 군집화의 응용 챕터에서 군집화 알고리즘을 응용해서 데이터에서 군집화를 응용하고 군집화 결과를 해석 해본다

좀 어려운 내용이지만 저자의 상세한 설명으로 인해 크게 어렵지 않게 이해하고 응용해볼 수 있었던 것 같다

후반부에는 오토 인코더와 앞에서 배운 군집화 알고리즘과 응용기법을 활용해 오토 인코더의 차원 축소와 군집화의 결과 및 시각화를

진행해보면서 이 책의 대장정을 마무리 지어볼 수 있다

매우 어렵다고 생각했던 비지도 학습을 상세한 이론과 원리의 설명과 파이썬 코드로 직접 실습해보면서 쉽게 이해할 수 있게

잘 구성이된 책이라고 생각한다

저자가 이 책을 집필하면서 왜 수없이 많이 고쳐썼는지 고충도 이해가 되고 저자의 고뇌의 결과로 인해 이렇게 좋은 내용의 책을 읽어볼 수 있게 되어 매우 행복하다

총평

국내의 최초의 비지도 학습을 전문으로 다루고 있는 서적이다

저자의 상세한 이론과 수식 설명과 데이터와 파이썬을 활용한 예제 실습 그리고 표와 그림으로 시각화 하는 과정을 통해 알고리즘을 이해하고 만들어 나가면서 비지도 학습을 이해해 나갈 수 있게 체계적으로 구성이된 전문 서적이다

차원축소, 이상치탐지, 군집화, 오토인코더를 활용해 딥러닝 알고리즘을 구현해보고 비지도 학습을 재미있게 공부해볼 수 있고 

어려운 내용을 최대한 단계별로 잘 풀어서 설명하고 있어 매우 이해하기 쉽게 잘 설명을 해주고 있다

비지도 학습을 공부해보고 싶은 사람에게 이 책을 추천 한다

※출판사로부터 책을 무상으로 제공받아 직접 실습해보고 정성껏 작성한 리뷰 입니다

IT개발서 전문 출판사 비제이퍼블릭에서 비지도 학습에 관한 책이 출간되었다.

빅데이터를 공부하다보니 머신러닝과 인공지능에 대해서도 겉핥기 수준으로 살짝 맛을 볼 기회가 있었는데, 그때 비지도학습에 대해서 스치듯 들었었다. 이름과 간략한 소개정도. 그러니 나와 비지도학습의 관계는 어디서 우연히 스치듯 본 사람 딱 그 정도의 관계랄까. 비지도 학습이란, 정답이 없는 데이터에서 결과를 찾아내는 것으로 명확한 답안이 없이 정보를 추출해 내려 할 때 사용하는 기법으로 비슷한 것들끼리 군집화를 하여 패턴을 찾아내는 머신러닝의 일종이라는 것. 이 정도가 내가 책을 읽기전 비지도 학습에 대해서 알고 있는 거의 전부였고, 이 책을 통해서 비지도 학습을 제대로 접하게 되었다.

책은 우선 비지도 학습이 낯선 나같은 사람들을 위해 비지도 학습에 대해서 설명을 하면서 시작을 하며, 크게 차원 축소, 이상치 탐지, 군집화, 텐서플로2, 오토인코더로 나뉘어있다. 그리고 그 중 가장 많은 부분을 차지하고 있는 것은 군집화이다. 처음 책을 받았을 때는 전문가 냄새가 폴폴 풍기는 책의 분위기에 이해를 하나도 못하면 어떡하지 하는 걱정을 살짝 했지만 나름 파이썬도 공부하고 머신러닝도 좀 봤다고 우려했던 것보다는 읽으면서 공부할만했다. 워낙 문송한 사람인지라 기초지식이 무척 부족하다보니 모르는 것 투성이었고 어렵긴 했지만 그동안 많이 봐온 여타의 다른 컴퓨터 책들보다 저자의 설명이 친절하고 상세했기때문에 거기에 힘을 얻어 조금 느리지만 천천히 비지도학습과 친해지면서 진도를 나갈 수 있었다.

서문에 따르면 비지도 학습을 위한 책이 많지 않고, 특히 실습을 위한 책을 더 찾아보기 힘들다고 하는데, 처음 만난 비지도 학습 관련 책이 이 책이어서 다행이었다. 머신러닝과 파이썬에 대해 사전지식이 있는 사람들 중 머신러닝이나 비지도 학습에 대해 알고 싶은 사람들에게 추천하는 책이다.

** 출판사를 통해 도서를 무상으로 제공받아 솔직하게 작성된 리뷰입니다.

현재 경제, 교육, 군사, 산업, 금융 등 다양한 분야에서 인공지능을 적극적으로 활용하려고 노력하고 있다. 이제 AI 인공지능은 더 이상 바둑이나 체스, 퀴즈게임에 등장하는 신기한 가십거리 주제가 아닌 것이다. 앞으로의 우리 삶을 완전히 탈바꿈하게 할 중요한 기술이 된 것이다.

그런 만큼 인공지능, 딥러닝, 머신러닝을 공부하는 사람들이 많이 늘어났다. 책도 과거에는 간단한 인공지능 이론 소개나 텐서플로, 케라스 같은 머신러닝 플랫폼, 오픈소스 소프트웨어 입문 위주였는데, 지금은 활용 또는 알고리즘 이해를 돕는 보다 깊은 주제가 대세다. 

이번에 본, 데이터 분석가 송동근 저자의 '파이썬으로 완성하는 비지도 학습 알고리즘' 역시, 인공지능을 한 단계 깊이 파고든 내용을 담고 있는 책으로 540여 쪽에 걸쳐 비지도 학습에 관련된, 각종 이론을 파이썬 프로그래밍 언어와 텐서플로로 실제 코드를 하나하나 만들어 가며, 심도 있는 학습을 할 수 있게 만들었다.

그런데 인공지능 이론을 접해보지 않은 사람 경우, 비지도 학습이란 단어가 무척 낯설 수 있다. 나도 이 단어가 처음에 무척 어색했다. 지도는 '학생을 지도한다' 같은 곳에 쓰는 어떤 목적이나 방향으로 남을 가르쳐 이끈다는 사전적 의미의 단어인데, 일상에서 비지도라는 말은 쓰지 않다 보니, 지도가 아니라는 뜻의 비지도는 콩글리시 같은 느낌마저 들게 한다.

지도 학습은 처음부터 명백한 기준이나 결과가 있는 경우 사용되는 반면, 비지도 학습은 그런 거 없이 스스로 그런 기준과 결과를 만들어야 하는 경우 사용된다고 이해하면 쉬울 것이다. 책에서는 시험 문제는 있는데 채점할 답안이 없는 거라 설명하고 있다. 과학, 수학, 각종 실험과 연구, 실생활을 보면, 패턴이나 결과가 전혀 안 보이는 경우가 많은데, 인공지능의 비지도 학습을 통해 결과를 도출할 수 있는 것이다. 어찌 보면, 활용도면에서 더욱 쓸 곳이 많은 유용한 알고리즘인 것이다.

'파이썬으로 완성하는 비지도 학습 알고리즘'에서는 이런 유용한 비지도 학습을 제대로 익힐 수 있다. 내용 구성은 크게 차원 축소, 이상치 탐지, 군집화, 텐서플로2 소개, 오토 인코더로 되어 있다. 주성분분석, 특이값 분해로 고차원의 데이터를 저차원으로 바꾸는 차원 축소를 해보고, 점검에 필요한 이상치 발생도 해본다. 그리고 공통 특징을 찾아내는 군집화나 비지도 학습에 기본인 오토 인코더는 많은 지면을 할애해서 응용도 해보며, 구석구석 알아보고 있다.

이 책의 한가지 특징이라면, 다른 책들에서는 독자들의 수학 거부감을 줄이고자 알고리즘에 관련된 복잡한 수학 공식들을 가급적 피하는 편인데, 여기서는 어차피 겪어야 할 거면 제대로 만나 보라는 느낌으로 각종 공식들이 곳곳에 등장한다. 이게 어렵게 보일 수 있지만, 알고리즘을 직관적으로 이해하고 그 차이를 아는 데는 오히려 도움이 된다. 게다가 바로 파이썬 코드로 만들어 테스트하고 결과도 확인하고 있으므로 코드 구현과 활용에도 좋다. 

그런데 '파이썬으로 완성하는 비지도 학습 알고리즘'은 입문자를 위한 책이 아니다 보니, 파이썬 문법 같은 것은 따로 설명되어 있지 않다. 내용 수준면에서도 비지도 학습 알고리즘 입문서는 될 수 있을지 모르나, 인공지능 입문서는 절대 아니다. 그 점을 감안해서 자기 수준을 확인하고 봐야 할 것이다. 

아울러 시간이 걸리더라도 책에 나온 코드를 직접 실행하면서 학습하는 것이 좋을 거라 생각한다. 본문에 알고리즘 설명들이 되어 있지만, 책에 워낙 많은 파이썬 코드가 나오고 있고, 이에 대한 설명은 주석으로 처리되어 있는 만큼, 곱씹어서 익히기에는 역시 하나하나 실행해 보는 것이 최고다.

얼마 전 구글이 개발한 인공지능이 40년간 인간이 풀지 못한 수학 문제를 푸는 일에 성공했다고 한다. 전에는 미흡했던 수학적 직관력을 인공지능에 부여하는 단계까지 이른 것이다. 그만큼 인공지능의 비약적으로 발전할 것이다. 그런 면에서 '파이썬으로 완성하는 비지도 학습 알고리즘'은 비지도 학습을 제대로 학습하기 좋다 생각한다. 이 책을 통해 미리미리 준비하고 실력을 쌓으면 좋을 것이다.

코로나로 인한 팬데믹 현상으로 요즈음 교육의 트랜드가 비대면, 온라인으로 바뀌어 가고 있는 것을 다 아실꺼예요.

이러닝 등의 이야기는 많이 들어봤는데 비지도 학습에 대해서는 잘 알지 못하기에

궁금증을 해결하기 위해 이 책을 만났답니다.

또한 알고리즘이라는 말도 충분히 매력적으로 보였답니다.

보통 우리가 유튜브를 볼때 옆에 비슷한 영상들이 계속 나와서 이것저것 다른 영상이 뜨잖아요?

이것이 대표적인 알고리즘이라는 말을 들었었기에 알고리즘에 대한 궁금증도 해결할 수 있을꺼란 기대감이 생겼답니다.

또 하나의 아주 중요한 이유는 요즈음 파이썬을 열심히 배우고 있는 아들이 있어서

'파이썬으로 완성하는 비지도 학습 알고리즘'이라는 책 제목에 더 끌려을지도 모르겠습니다.

가장 먼저 비지도 학습이 무엇인지에 대한 설명으로 책이 시작됩니다.

비지도학습은 영어로 Unsupervised Learning basics라고 합니다.

비지도 학습과 비교할 수 있는 것은 지도 학습이예요.

이 두가지를 구분하는 명백한 기준은 목적 변수의 존재 여부라고 합니다.

비지도 학습은 정답이 없는 데이터 속에서 스스로 규칙을 찾아내고 학습할 수 있다고 합니다.

특히 비지도 학습은 다양한 데이터를 주고 레이블이 없는 데이터를

비슷한것들끼리 그룹으로 묶을때 많이 사용된다고 합니다.

과일로 비유를 하면 딸기가 있는 곳에 딸기를 놓고 바나나나 있는 곳에 바나나를 놓는것이 지도학습이라면

다양한 과일들이 섞여있는 바구니에서 과일의 종류 및 색, 모양 등을 활용하여

스스로 분류하는것이 비지도 학습이예요.

사업에 비지도 학습을 적용한다면 수많은 고객들을 구매 성향별로 묶어서 관리할 수 있을 것 같다는 생각을 해봅니다.

비지도학습은 머신러닝으로 인공지능을 만드는 여러 방법 중 하나랍니다.

이러한 다양한 비지도 학습 문제들을 실제에서 활용할 수 있도록 파이썬으로 구현하는 방법을 익힐 수 있어요.

알고리즘의 이론과 수식 등에 대해 알아보고 주요 딥러닝 이론들을 실습할 수 있는 책이었어요~

저는 솔직히 아므런 배경지식 없이 읽기에 많이 어려웠지만 데이터 분석에 대한 기본적인 배경이 있는 사람이

조금 더 확장할 수 있는 책으로 활용하면 좋을 것 같다는 생각을 해 보았습니다.

인공지능을 배우게 되면 지도학습과 비지도 학습의 구분법을 누구나 배우게 됩니다. 지도학습은 회귀와 분류로 나눠지고 비지도학습은 군집화, 주성분분석(차원축소) 등으로 되어 있다고 배우죠. 인공지능을 배우는 대부분의 교육자는 지도학습의 회귀와 분류를 넘는 것도 힘들지만 회귀와 분류를 어렴풋하게 알게 되면 비지도학습의 필요성을 실감하게 됩니다. 왜냐하면 지도학습은 답을 주고 학습을 시키지만 실제는 답이 없는 경우도 허다하기에 ＜파이썬으로 완성하는 비지도 학습 알고리즘＞은 출력에 답(목적변수)을 주지 않고 입력으로 데이터(설명변수)만 주입해서 인공지닝 스스로 답을 찾는 방법을 배울 수있습니다.

저자는 위메프 송동근 데이터분석가입니다. 한림대에서 학사, 중앙대학교에서 석사를 통계학으로 전공하였습니다. 통계학과에서 R을 주로 다뤄겠지만 지금은 파이썬으로 개발까지하고 있는 개발전문가입니다. 데이터는 위메프의 커머스데이터를 많이 다뤘다고 합니다. 위메프라는 온라인커머스에서 제대로 온라인쇼핑몰데이터를 다루는 실전전문가라고 할 수있습니다.

저자는 비지도학습을 차원축소, 이상치탐지, 군집화, 텐서플로2, 오토인코더 순으로 순서를 구성해 두었습니다. 머신러닝을 조금이라도 배우신 분이라면 이름은 늘 들어봤던 단어들입니다. 텐서플로2는 딥러닝을 하는 툴입니다. 지도학습의 경우 데이터가 적어도 상관은 없지만 비지도학습은 데이터가 많아서 성능이 좋아집니다. 다행스럽게도 컴퓨티기술은 대량의 데이터를 다룰수있는 기계적 성능이 가파르게 향상되고 있습니다. 그리고 데이터도 무한정 쏟아지고 있는 것이 현실입니다. 이제 많은 데이터로 우리가 맞닫뜨린 문제를 풀수있는 방법이 개발되고 있고 그 방식이 바로 비지도 학습입니다. 흥미로운 점은 비지도학습은 목적이 없이 프로그램을 돌리면 결과가 나오는 방법입니다. 대부분 정확도를 올리는 방식이고 이 정확도 %를 올리기 위해 다양한 모델을 만들어수 수행하는 방법을 사용합니다.

'차원축소'는 주성분분석(PCA)입니다. 필요없는 성분을 줄어가면서 유용한 차원만으로 결과를 도출하는 방식입니다. 이는 직교변환을 응용한 방식이라고 합니다. 우선 잘모르더라도 계속 암기하는 방식을 취해야합니다. ㅠㅠ 사용하는 데이터는 MNIST데이터(손글씨)를 사용하여 연습합니다.

'이상치탐지'는 예외적인 패턴을 찾아내는 방법입니다. 결과는 정상과 비정상으로 나오게 됩니다. 결과는 간단한 편입니다. ^^방법은 MCD,고립포레스트,SVM 등의 방법을 사용합니다.

'군집화'는 가장 많은 페이지를 할애하는 방법입니다. 그만큼 중요하다는 것이겠죠. 목적변수없이 스스로 분류하게 만들수있습니다. 물론 군집화에서 중요한 것은 결과치에 대한 타당성도 검증을 해야 합니다. 그래서 군집호를 위한 '거리'문제, L1,L2,내접곱, 샤논엔트로피등의 거리문제를 공부합니다. 군집화를 배웠으면 응용으로 데이터의 의미와 목적을 지표로 설계하는 겁니다. 이 결과치를 워드클라우드로 나타내는 학습을 합니다.

비지도 학습에서 오토인코더는 데이터가 복잡하기에 인코딩을 하여 축소를 하였다가 다시 디코딩하는 방법입니다. 데이터를 다루기 쉽게 압축하는 방식입니다. 데이터를 은닉레이어로 축소를 했다가 다시 인간이 이해할 수있게끔 복원하는 형식이 오토인코딩의 기본형태입니다. 이를 '바닐라오토인코더'라고 합니다. 인공지능을 공부할 때 수식에 포기를하는 경우가 많은데 저자는 수식은 최소화하고 대도록이면 기초적인 MNIST를 이용해서 모든 형태를 설명하려고 하였습니다. 이렇게 데이터를 거의 통일시킴으로써 형태변화의 이해를 높였습니다.

처음에는 비지도학습으로 무얼할 수있을까 막막하지만 '이상치탐지'만으로도 비지도학습의 능력은 대단함을 느낄수 있습니다. 신용카드의 이상구매패턴을 발견하고 심장박동이 이상할 때 119와 연결될 수있으면 정말 소중한 생명을 살릴 수있을 겁니다. 저도 애플워치를 차고 다닙니다만 제 데이터(설명변수)를 입력해서 이상현상을 발견해준다면 돌발적 상황에서 생존이 가능해질겁니다. 이것 뿐이겠습니까. 범죄도 예방할 수있고, 즐거움까지도 분석해서 자신감을 증가시키는 데도 사용이 가능할겁니다. 당연히 제조라인의 불량품을 검수할 때도 매우 요긴하게 사용해서 불량품을 구매자에게 판매되는 것을 막고 좀더 앞선에서 불량품이 발생하는 가능성도 줄일수가 있습니다. 물론 쉬운 과정이 아닙니다. 더우기 인문학전공자들에게는 외계언어처럼 느껴질 수도 있습니다. 하지만 그것은 시간과 노력이 해결해줄겁니다. 이제 좀더 깊이 나가야 앞설수있을 때인듯합니다.

본 도서는 출판사로부터 무상으로 제공받아 주관적인 리뷰를 했습니다.

지도 학습법의 경우에는 설계한 사람의 의도에 충실하도록 정답이 있는 반면에 비지도 학습법의 경우에는 정답이 없이 컴퓨터가 분류한 결과를 기준으로 해석하기 때문에, 가끔 이해하지 못할 결과가 나오거나 특히 새로운 데이터가 추가될 경우에는 기존결과와 새로운 결과가 달라서 상당히 곤혹스러운 경우도 가끔 생긴다. 그렇다고 컴퓨터는 설계한 대로 계산하고 결과를 출력하기 때문에, 비지도 기법을 좀더 명확하게 이해할 필요가 있다. 이 책은 비지도 기법에 대해서 수식으로도 직관적으로 이해할 수 있도록 도움을 주는 책이다.

개인적으로는 주성분분석(PCA) 방법론 설명부터 맘에 들었는데, 단순히 지식을 전달하는데 급급하기 보다는 좀더 정확하게 이해할 수 있도록 기초적인 내용부터 예시를 들어가며 설명해주려는 부분에서 독자를 위해 이 책을 저술한다는 느낌을 받았다. 또한, 코드를 제시하고 바로 결과를 보여주며 설명을 곁들여 준다는 점에서 원래부터 알고 있던 부분들은 굳이 실제로 실습해보지 않아도 이해될 수 있음만큼 친절하게 내용을 제시한다.

1장에서는 이 책의 전반적인 내용 즉, 저자가 집필하는 목적인 차원축소, 이상치 탐지, 군집화, 텐서플로2, 오토 인코더의 개괄적인 내용을 설명하고, 이미 내용을 어느정도 알고 있는 사람이 읽어야할 방법또는 나처럼 비지도 학습에 대해서 매우 초보적인 수준으로만 이해하고 있는 사람들을 위해 이 책을 읽는 방법을 소개해준다. 사실 비지도 학습법에 대해 어느정도 알고 있는 사람이라면 굳이 처음부터 읽어보지 않고 관심있는 부분부터 읽는 것도 이 책을 잘 활용하는 방법중 하나라고 생각한다. 

또한, 생각보다 수식이 많이 소개되어 있으므로, 이론적 배경을 탄탄하게 정립한 후 이 책에서 가이드 하는 것처럼 실습해 보는 것도 좋겠지만, 때로는 실습부터 해보고 필요시 수식을 따라 이론적인 학습을 해보는 것도 이 책을 잘 활용하는 방법중 하나라고 생각하며, 자신에게 적합한 방법으로 이 책을 활용하면 비지도 학습법에 대해 좀더 잘 이해할 수 있으리라 생각한다.

* 이글은 출판사로부터 도서만을 제공받아 주관적으로 작성한 리뷰입니다.

필요한 물건이 있으면 인터넷 브라우저를 열어 가격 비교 사이트에 접속해서 검색합니다. 다른 사람은 어떻게 생각하는지 블로그나 카페 등에서 구매 후기를 찾아보기도 하네요. 이렇게 몇 번 사고나면 광고가 붙은 사이트에 접속했을때 나의 취향에 맞는 물건들이 뜨기 시작합니다. 보통은 그냥 지나치지만 보는 순간 마음에 들어서 클릭해 자세히 보고, 살 생각이 전혀 없었으나 나도 모르게 구매 버튼을 클릭하기도 하네요. 상품 추천 뿐만 아니라 번역, 글자 인식 그리고 자율주행 자동차 등 이미 많은 분야에서 AI 기술이 적용되어 있으며 지금도 빠르게 발전하고 있습니다.

AI 는 머신러닝을 통해 축적한 데이터를 분석하고 새로운 데이터가 들어왔을때 이전 데이터를 참고해서 결과를 냅니다. 최근 IT 분야에서 가장 핫하기 때문인지 서점에 가보면 정말 많은 머신러닝 책들이 나와있네요. '파이썬으로 완성하는 비지도 학습 알고리즘' 은 머신러닝 중에서 비지도 학습 부분을 중점적으로 설명하고 있습니다.

컴퓨터에게 학습을 시키기 위해서는 수많은 학습 데이터가 필요합니다. 학습 데이터는 입력이 A 이면 결과는 B 라는 쌍으로 구성되어 있는데 컴퓨터는 이런 데이터를 이용해 자체 기준을 만들어서 기존에 없었던 새로운 입력 A' 이 들어와도 B' 라는 결과를 낼 수 있습니다. 반면 비지도 학습 데이터에서는 이렇게 정해진 정답이 없다고 하네요. 많은 입력들 중에서 컴퓨터가 알아서 이리저리 비슷한 것을 분류해 특성을 파악합니다. 정답이 있는 학습 데이터를 모으는 것은 실질적으로 쉽지 않기 때문에 비지도 학습이라는 새로운 알고리즘이 등장하게 되었네요.

비지도 학습에서 비슷한 데이터를 모으는 것을 군집화라고 하는데 입력 데이터들이 얼마나 비슷한지 계산하는 방법에도 여러가지가 있습니다. 책에서는 Lp 민코우스키 거리, 내적곱 거리, 샤논 엔트로피 거리 등 다양한 알고리즘 설명과 함께 파이썬으로 구현한 코드가 있습니다. 수식은 어려워 보이지만 코드를 한 줄 한 줄 따라가다보니 조금은 이해가 되네요. 비지도 학습의 특성상 데이터 분류 과정에서 이상치가 발생할 수도 있는데 이를 탐지하고 적절히 대처하는 것도 중요하다고 합니다. 그렇지 않으면 학습을 했음에도 불구하고 잘못된 결과가 나올 수 있는데 그 방법과 코드들을 보니 정말 신기하네요.

머신러닝을 쉽게 사용할 수 있도록 하는 프레임워크에는 텐서플로, 파이토치 등 여러가지가 있는데 이 책 후반에서는 텐서플로에 대해 설명하고 있습니다. 머신러닝에서 핵심적인 역할을 하는 CNN, RNN, LSTM 설명과 함께 머신러닝 기초로 예제로 무척 유명한 손글씨 분류를 직접 파이썬 코드로 구현하고 있어서 6장을 먼저 읽어봐도 좋을것 같아요. 저자는 머신러닝을 전공한 후 실무에서 직접적으로 쓰고 있어서인지 설명과 코드가 무척 쉽고 실용적입니다.

머신러닝에 대한 책은 많지만 비지도 학습에 대한 책은 많이 보지 못했었는데 이 책은 어느정도 머신러닝을 공부해서 기초 개념을 쌓은 사람을 위한 비지도 학습 입문서로 볼 수 있네요. 책은 두꺼운 편이지만 그동안 궁금했던 부분들이 많이 해결되었습니다. 대략적인 개념을 배웠으니 이제 나만의 과제를 선정해서 비지도 학습을 만들어봐야 겠네요.

얼마전에 학생들 멘토링을 해주다가 나온 아이디어가 영화에 나온 음악을 분위기별로 clustering해서 추천시스템에 활용할 수 있을까 하는 생각이 나오길래, 도움을 준 적이 있다. 그냥 딱 생각했을때 흔히 잘 아는 Thomas Newman이나 Hans Zimmer 같은 감독은 딱 들으면 이 감독 음악이다 라는 것이 느껴지지만, 이게 정확히 데이터로 나오지는 않기 때문에 해당 감독의 음악과 여러 영화음악을 섞어서 비슷한 음원끼리 clustering을 해주고, 이 기반으로 가장 유사한 음원의 영화를 추천해주면 어떨까 했었던 것이다. 물론 음악마다 정확한 레이블이 지어져 있지는 않았지만, Spotify API를 사용하면 해당 음원의 템포나 악기 사용 비율 등의 정보는 얻어올 수 있기 때문에 해당 데이터를 기반으로 clustering을 수행하면 되지 않을까 싶어서 가이드를 해줬는데, 그래도 학생들이 나름 멋진 아이디어를 구현해서 프로젝트로 제출했었다.

아는 사람들은 알겠지만 비지도 학습은 지도 학습처럼 정답이 주어진 상황이 아닌, 정답이 주어지지 않은 상황에서 어떠 패턴이나 경향성, 의미를 도출하고자 하는 것이기 때문에 조금 어려운 영역이긴 하다. 지도학습은 적어도 모델한테 암기라도 시킬 수 있겠지만, 비지도 학습은 그런게 어렵기 때문이다. 사람도 정답이 주어지지 않은 상태에서 직관만 가지고 의미를 도출하지만, 이에 기반하는 근거는 그 사람의 경험이기 때문에 이를 모방한 모델을 만드는게 쉽지 않다. 이런 학습은 그래서 보통 이상치 탐지나, 군집화, 차원 축소등에 많이 활용되는 듯 하다.

이번 포스트에서 소개할 책도 이 비지도 학습을 중점적으로 살펴본 책이다. 사실 이전에 소개한 책 중에 "핸즈온 비지도학습"(한빛미디어)가 있었는데, 해당 책이 비지도학습의 다양한 예제들을 직접 코딩해보면서 살펴보는 책이라면, 이 책은 비지도 학습에서 다뤄지는 여러 지표들과 그 이론적인 배경이 조금 더 가미되서 설명된 책이다. 생각보다 코드와 그 결과에 대한 설명이 상세하게 되어 있는 편이라 분량이 제법 많다.(547p) 특히 군집화(clustering)에 대한 내용은 책의 약 1/3을 차지할 만큼 자세하게 되어있다. 앞에서 소개한 프로젝트 이야기를 다시 하자면, 빠르게 결과를 확인하기 위해서 가장 간단한 K-means clustering에 elbow method를 사용해서 적절한 k값을 찾고, 유사도 측정을 하는 방법으로 euclidean distance를 사용했었는데, 사실 원체 내가 알고 있는 배경지식이 적어서 그랬었다. 뭔가 조언을 하는 입장에서 다양한 이론 설명이 덧붙여졌으면 좋았으련만 하는 아쉬움이 있었는데, 이 책에 조금 그런 아쉬움을 채워줄 수 있는 내용들이 들어 있었다. 그리고 책의 의도 중의 하나가 "최대한 해석이 용이한 코드를 사용했다"는 점인데, 생각보다 데이터를 정제하는 부분과 알고리즘을 구현하는 코드에 대한 설명이 잘 되어 있어 현업에서 데이터를 다룰때 비슷한 기법을 적용하기 좋겠다는 생각이 들었다.

다만, 책을 읽으면서도 아쉬움이 드는 부분도 일부 있었다. 앞에서 언급한 것처럼 군집화에 대한 내용이 책의 1/3만큼을 차지할만큼 내용이 자세히 들어있긴 하지만, 상대적으로 다른 비지도학습 주제 (차원 축소나 물론 지금은 잘 활용되는 주제는 아니지만 RBM 같은 것)의 비중이 낮아서, 해당 내용을 찾는 독자한테는 기대에 못 미칠 수 있다. 또한 출판사에서 제공하는 코드가 그냥 압축파일로 묶여있어서, 관리가 되지 않는 부분도 조금 그랬다. 분명 내용이 궁금한 사람은 구현 코드도 보면서 책 구매를 고려할텐데...

사실 비지도 학습 관련 책들이 많이 나와있지 않아, 뭘보면 조금 도움을 받을 수 있을까 고민하던 사람한테는 이 책은 어쩌면 가뭄의 단비와도 같은 책이다. 저자의 경험을 바탕으로 내용 전개와 코드 설명이 되어 있기 때문에 아마 기본적인 이론을 알고 접근하는 사람한테는 책을 보면서 "저자가 이런 부분을 고민하면서 작성했구나"라는 것을 느낄 수 있고, 어떻게 보면 이 책의 장점이라고 본다. 나 또한 그냥 온라인 강의만으로 수박 겉핥기 식으로 비지도 학습을 공부한 입장이라 책에서 저자가 설명한 내용이 이해하는데 도움이 되었다. 그런 입장에 있던 사람들이 이 책을 읽었을때 도움을 받았으면 하는 생각이 든다.

(해당 포스트에서 소개하고 있는 "파이썬으로 완성하는 비지도 학습 알고리즘" 책은 BJ퍼블릭으로부터 제공받았음을 알려드립니다.)

출처: https://talkingaboutme.tistory.com/entry/Book-unsupervised-learning-algorithm-with-python?category=488131 [자신에 대한 고찰]

비지도 학습이란 일반적으로 당연하다고 생각되는 지도학습(명확한 정보를 바탕으로 한 지도형 학습)과 달리 머신 데이터를 기반으로 정보를 추출하는데 목적이 있습니다. 데이터가 범람하는 시대에 인터넷 사용자들을 위해 많은 것을 할 수 있기 때문에 아이템별 카테고리 분류, 데이터 추천 등 다양한 분야에 도움이 되고 있습니다. 이처럼 유사한 데이터를 군집화하는 과정을 거쳐 유저들이 원하는 가까운 값을 예측할 수 있기에 많은 분들이 비지도 학습 알고리즘에 관심을 가지고 있는데요. "파이썬으로 완성하는 비지도 학습 알고리즘"은 파이썬 언어를 통한 국내 최초의 비지도 학습 알고리즘 전문 서적입니다. 비지도 학습은 앞서 설명한 것 같처럼 결과를 유추함에 있어 복잡한 과정을 거치기 때문에 많은 기술들이 필요합니다. 해당 책은 지도 학습과 비지도 학습의 차이점과 장단점, 개념 설명에 이어 정보 손실을 최소화하는 차원축소, 문제에 대비하기 위한 이상치 탐지, 군집화, 텐서플로2, 오토 인코더를 다룹니다.

공부하기에는 단순한 예시에 그치지 않고 실제 사용 범위(고객 중심의 데이터 등)에 중점을 두어 설명하고 있기 때문에 훨씬 이해하기 쉽게 쓰여 있습니다. 차원축소 항목에는 다양한 이미지 시각화 예제, MINST 데이터 세트 패키지를 통한 단계별 테스트 과정을 통해 결과값을 도출하고 이해하기 쉽도록 하며, 이상치 탐지 항목에서는 각 데이터 출력값을 통해 실무에서 적용했던 것들을 간접적으로 경험할 수 있습니다. 책 3분의 1분량을 담고 있는 군집화의 경우 군집분석에 대한 여러 거리 측정법(Lp 민코우스키, 샤논 엔트로피 등)이 상세히 소개되어 있는데, 각 수식에 대한 자세한 설명과 방대한 알고리즘을 담고 있습니다. 그리고 GPU도 활용이 가능해 보다 빠른 계산이 가능한 텐서플로 2를 활용한 코드 예시, 익히기 쉽고 성능이 좋은 다양한 오토 인코더의 개념까지 익힐 수 있습니다.

특히 머신러닝은 수식에 대한 이해가 상당히 필요하다고 알려져 있는데요. 각 상황에 따라 달라지는 수식들에 대한 설명, 문제 풀이를 하는 듯한 수식 과정도 소개하고 있어, 답답하고 어려웠던 수식에 대한 이해도 어느정도 해결해 준다는 느낌으로 공부할 수 있어 좋았습니다. 각 라이브러리에 대해 개념을 익히고 수식을 이해하고 알고리즘을 익혀 나간다는 게 마음에 들었습니다. 저자는 목차를 차례대로 읽으면서 공부하는 걸 권장하지만 방대한 내용을 담고 있는 만큼 자신이 공부하고 있는 부분이나 궁금한 부분만 확인해서 참고서처럼 공부할 수 있을 것 같습니다. 초보자를 위한 책은 아니기 때문에 머신러닝에 대한 경험과 기초지식을 가진 분들에게 추천할만한 책입니다.