최근 회사에서 A/B 테스트에 대한 필요성을 많이 이야기하고 있습니다. 그래서 구글 애널리틱스에 대한 책이라던지, 관련 서적을 몇권 찾았는데요. 문제는 아직 손도 못댔다는 겁니다. '핑계없는 무덤이 없다'하지만, 뭘하느라 그리 시간을 못내는지, 8월 이후로는 시간이 한달 단위로 없어지는 걸, 느껴오고 있습니다.

결국 A/B 테스트에 대해서 전무 한 상황에서 이 책을 읽게 되었습니다.

저자는 10년전 "버븐"이라는 서비스가 "인스타그램"이 되었던 이야기로 이 책을 시작합니다. 버븐을 만든 사람들은 레스토랑이나 쇼핑몰 사진을 찍어 공유하는 서비스로 "버븐"을 만들었다고 하는데요. 사용자들이 "버븐"에서 잘 쓰는 기능은 그것이 아니었습니다. 사용자들은 사진의 필터링과 공유를 주로 썼거든요. 버븐의 개발자들은 사용자들이 원하는 서비스가 무엇인지 이해하기 시작했고, 딱 필요한 기능만을 남겨둔 "인스타그램"을 만들어서, 말그대로 대박을 터뜨렸습니다.

A/B 테스트는 사용자가 무얼 원하는지 알아내는 테스트 방식입니다. A와 B를 보여주고 뭘 좋아하는지 알아보는 거죠. 그래서, A/B 테스트에 대한 책은 대부분 A/B테스트를 하는 테스트 프로그램에 대해서 설명하는 책이 됩니다. 넣어보고, 결과를 알아보는 식으로 상황을 보정해 나가는 것, 이외에 A/B테스트에 대해서 알필요가 없으니까요.

그런데, 이 책은 그렇지 않습니다. A/B 테스트를 위해 필요한 수학과 확률을 다루거든요. 책을 읽으면서, 두가지 생각이 머릿속을 떠나지 않았습니다. '정말 꼼꼼하게 잘 설명했다'와 '그런데 난 뭔 말인지 못알아듣겠다' 였습니다.

어떤 분야를 공부하든, 그 분야 일을 하려면 결국은 알아야 하는 이론들이 있습니다. 이 책은 A/B 테스트에서 그 부분을 수학적으로 설명하고 있는 겁니다. 정말 수포자인 제가 읽기도 쉽게 설명하고 있습니다. 문제는 제 두뇌 초입에 탑재되어 있는 필터 입니다. 수학적인 이론으로 판단되면 걸러 버리는 필터 ...

스티브 잡스는 "소비자들이 원하는 제품을 만들었다면 매킨토시를 만들지 않고, 더 빠른 도스 터미널을 만들었을 거라"고 이야기 했다고 합니다. 소비자들은 사실 자기가 원하는게 뭔지 모른다는 의미인데요. 그건, 소비자들이 기술적인 부분에서 잘 모르기 때문입니다. 매킨토시가 나오기전, 소비자들은 GUI라는 개념이 있는지 몰랐습니다. 그러니 스티브 잡스에게 "더 빠른 도스 터미널"을 만들어 달라고 할 밖에요.

그런데 만약 기술을 맛볼 수 있는 기회가 소비자들에게 주어진다면 어떨까요? 그럼, 스티브잡스에게 매킨토시를 만들어 달라고 했을 지도 모릅니다. A/B테스트는 소비자에게 기술을 맛볼 기회를 제공해주는 가장 훌륭한 도구입니다. 이 책은 그걸 이론적으로 설명한 책이고요. 따라서 A/B 테스트로 서비스를 개선하려는 사람들이라면, 이 책은 훌륭한 안내가 될 수 있을 겁니다.

다만, 저같은 수포자가 읽은뒤, 모르는 부분을 따라가기는 좀 힘들듯합니다. 참고문헌이 모두 영어와 일본어로 되어 있어서요. 책을 여러번 읽으면서 이해하는 쪽을 택하는 게 좋을 것 같았습니다. 책 차체 내용은 충분하니까요.

저는 A/B 테스트에 대해 모아두었던 책들을 찾아 읽어보고, 다시 읽어봐야 할것 같습니다.

"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

현재는 모든 사업들이 대부분 디지털화되어 가고 있어서 웹사이트나 앱에서 상춤 구입, 시장 조사 등을 처리하고 있습니다. 그리고 단순히 공통적인 마케팅이 아닌 사용자의 구매 상품이나 자주 찾는 검색어 등의 데이터를 수집하여 개인 맞춤형 마케팅 전략을 펼치고 있는 추세입니다. 여기서 사용되는 기술 중 웹사이트 최적화 기술은 '현대의 카이젠'이라고 말해도 과언이 아닌 숨겨져 있는 매우 중요한 기술입니다.

최적화 기술이란 제품의 두가지 버전을 준비하여 사용자의 선호에 맞춰 최적화 하는 것인 개인 맞춤형 제품을 만들어 나가는 기술입니다. 이러한 기술은 GAFA(Google, Apple, Facebook, Amazon)를 비롯하여 대기업은 물론 네트워크 기업이나 실리콘 밸리의 스타트업에서도 매일 빠른 속도로 이뤄지고 있을 만큼 중요하고 강력한 기술입니다.이처럼 이 기술은 매우 중요하지만 베일에 가려져 있어서 체계적으로 정리한 책은 많지 않습니다.

제가 이 책을 선택한 이유는 이 기술을 수학적 배경에서 설명하고 코드를 통해 구체적으로 알기 쉽게 정리하여 나타내고 있기 때문입니다.

이 책의 특성은 수학적 방법(통계학과 머신러닝)을 이용해 웹 최적화 테스트의 결과를 분석하고, 그 결과를 최적화에 적용하는 방법을 담고 있습니다. 그저 최적화 테스트에서 숫자로 나타난 사용자의 선택뿐만 아니라 그 이면에 숨겨진 데이터를 가설 검증에 활용해 보다 나은 최적화 설계를 수행할 수 있게 도움을 줄 수 있는 내용을 담고 있습니다.

이 책은 통계학 또는 머신러닝에 입문하고자 하는 웹 엔지니어나 웹 마케팅 관련 담당자 및 웹 마케터 그리고 머신러닝 응용, 특히 사람과의 상호 작용에 대한 응용에 흥미가 있는 분들이 읽으시면 도움이 많이 되실 내용을 가지고 있습니다.

요즘 대기업에서는 디지털화 되어 가는 사업추세에 맞춰 마케팅 전략을 웹이나 모바일 앱에서 사용자들이 자주 검색하는 제품 이름 및 제품 유형 데이터를 수집하여 시장 조사 및 소비자들의 선호도를 조사하는 추세입니다. 또한 공통적인 데이터 뿐만 아니라 소비자별로도 데이터를 조사하여 개인 맞춤형 마케팅 전략을 펼치고 있습니다. 이처럼 최적화 기술은 비즈니스적으로 매우 중요한 기술이기 때문에 개발자나 이 기술을 잘 활용하여 마케팅 전략을 펼칠 수 있는 사람을 대거 채용하고 있는 추세입니다.

구성

Chapter 1: A/B테스트부터 시작하자: 베이즈 통계를 이용한 가설 검정 입문

Chapter 2: 확률적 프로그래밍: 컴퓨터의 도움을 받자

Chapter 3: 조합 테스틔 요소별로 분해해서 생각하자

Chapter 4: 메타휴리스틱: 통계 모델을 사용하지 않는 최적화 방법

Chapter 5: 슬롯머신 알고리즘: 테스트중의 손실에도 대응하자

Chapter 6: 조합 슬롯머신: 슬롯머신 알고리즘과 통계 모델의 만남

Chapter 7: 베이즈 최적화: 연속값의 솔루션 공간에 도전하자

Chapter 8: 앞으로의 웹 최적화

Appendix A: 행렬 연산 기초

Appendix B: 로지스틱 회귀상에서의 톰슨 샘플링

파트별로 나누어 봤을때 1~3장은 최적화 기술의 기초 및 요소별 분석방법에 대해 설명하고 있고 4장은 통계 모델을 사용하지 않고 최적화 하는 방법에 대해, 5~7장은 슬롯머신 알고리즘을 통한 연속값 최적화에 대해 8장은 최적화 기술의 앞으로의 방향과 응용되어질 분야에 대해 설명하고 있습니다.

그리고 맨뒷장은 행렬 연산 기초나 로지스틱 회귀상에서의 톰슨 샘플링 같은 수학적 방법에 대한 이론내용이 있으니 한번쯤 보시는 것을 추천드립니다.

개인적인 생각으로 학습은 1부터 시작해야하는 시니어이신 분들께서는 1장부터 시작하시면 좋을것 같고 어느정도 머신러닝에 대해 경험이 있으신 분들(머신러닝에 대해 기초적인 지식은 숙지하고 있다.)은 1장을 가볍게 보시면서 최적화에 대한 이론을 숙지하신 후에 2장부터 시작하시면 좋을듯 싶습니다. 그리고 현재 머신러닝에 대해 지식이 어느정도 풍부하시거나 현직에서 사용하시면서 마케팅이나 프로젝트를 위해서 머신러닝을 학습하시는 분들 역시 2장부터 시작하시면 좋을듯 싶습니다.

그리고 개인적으로 약간의 단점이 내용구성부분에서 기초적인 부분은 간단히 하고 더 많은 현업에서의 케이스에 대한 내용이나 실습 부분이 좀더 많았으면 더 좋았을것 같다는 아쉬움이 있습니다.

"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."

A/B테스트는 사람들의 클릭률을 높일 수 있는 최적의 조합을 찾아서 비즈니스적으로 활용하고자 하는 시도이다. 나같아도 넷플릭스 등 앱에서 보고 싶은 혹은 사고싶은 상품의 대표 이미지가 무엇이냐에 따라서 최초 클릭 여부가 갈린다. 사실 블로그를 조금만 해봤다면 커버 이미지를 고심해서 골랐던 적이 있을 거다. 그런 것도 모두 효과적인 클릭률을 위한 것이 아니었나 생각한다.

책은 A/B테스트를 소개하면서 여기에 들어간 각종 확률 분포, 덧셈정리, 곱셈정리, 이항 분포 등에 대해 차근차근 설명이 들어간다. 통계 쪽을 좀 알고 있다면 무난히 넘어갈 수 있지만 만약 그런 부분들을 보충해야 된다면 기초 단계부터 설명이 들어가므로 따라가면 충분히 이해할 수 있다. 

이후 2장에서는 확률적 프로그래밍을 좀 더 쉽게 하기 위한 PyMC3를 소개한다. 

3장에서는 3개 이상의 선택지가 조합으로 묶일 때 어떻게 테스트할지에 대한 내용이다. A/B테스트는 2가지 경우에 대해서만 집중했기 때문에 현실에서는 주로 더 많은 선택 조합이 나올 가능성이 높다. 

3장에서는 여러 가지 다양한 조합을 찾고 교호 작용에 대해서도 소개를 한다. 여기까지 읽었을 때 책의 비중이 주로 통계적 스킬에 대부분을 할애하고 있다는 것을 알았으니 참고하면 좋겠다. 

4장에서는 메타휴리스틱 방법을 소개한다. 어떤 통계적 모델을 사용하기보다는 일반적으로 좋다고 알려진 지식을 휴리스틱적으로 풀어가는 것을 말한다. 답이 딱히 정해지지 않았는데 문제를 풀어야 되는 상황에서 이런 메타휴리스틱적 방법은 충분히 고려해볼 만하다. 언덕 오르기 알고리즘이 코드로도 제시되어 있으므로 한번 연습하는 것도 좋겠다.

이밖에 슬롯머신 알고리즘, 조합 슬롯머신 등 실제 비즈니스에서 최적화를 위한 여정을 이어갈 때 일어날 수 있는 상황을 앞에 도입 부분에서 상황 설명을 하고 이를 각 해결방법으로 설명한 뒤 이론이나 더 알면 좋을 이론 내용으로 부가설명하는 것이 이 책의 공통적인 부분이다. 전반적으로 통계쪽 내용의 비중이 높으니 참고하면 좋겠다.

"한빛미디어 ＜나는 리뷰어다＞ 활동을 위해서 책을 제공받아 작성된 서평입니다."