2012년 마이크로소프트의 검색 서비스 빙에서 일하는 직원 한 명이 검색 엔진에서 광고 헤드라인을 띄우는 방식을 바꿔보자는 아이디어를 냈다. 어려운 건 없었지만 수백 개의 제안 중 하나였던 터라 프로그램 매니저는 우선순위에서 그 아이디어를 뒤로 밀었다. 그래서 그 아이디어는 6개월이 넘도록 구현되지 못한 채 시들어갔다. 그러던 어느 날, 한 엔지니어가 그 아이디어의 영향력을 평가하는 간단한 온라인 대조실험을 실시했다. (-17-)

영국 해군이 마침내 선원들 사이에서 괴혈병을 제거한 것은 그로부터 50년 후로, 선원들의 식단에 가열하지 않은 레몬주스를 추가하기 시작하면서였다. 추정컨대 만약 린드 박사가 가열한 레몬주스와 가열하지 않은 레몬주스를 놓고 대조실험을 했다면 치료법이 훨씬 더 일찍 보급돼 많은 생명을 구했을 것이다. (-113-)

어떤 실험을 했는가?

당신의 믿음에 도약을 가져온 가정은 무엇이었는가?

테스트가 아직 수행되지 않은 경우에는 다음과 같은 질문을 던진다.

얼마나 빨리 실험을 수행해 그 결과를 기반으로 결정을 내릴 수 있는가?

하지만 이 모든 것은 최고 경영진과 관련하여 까다로운 문제를 재기한다. (-208-)

실험역량을 빠르게 키워야 하는 또다른 이유가 있다.바로 미래를 위해서다. 물론 '예측은 어렵다. 특히 미래에 대해선'이라는 덴마크 속담에 귀를 기울여야 할지도 모른다. 그러나 우리가 실험으로 점들을 연결한다면 비즈니스 세계가 어디로 향하는지 보는 것은 어렵지 않다.

다음은 방대한 실험 역량을 요구하는 세 가지 중요한 사항이다. 첫째, 고객은 점점 더 모바일 기기(스마트폰, 태블릿, 워치 등)을 통해 기업과 상호작용할 것이다. 2018년, 기업들은 15억 개 이상의 스마트폰과 모바일 기기를 출하했다. (-321-)

21세기 현재 우리는 아이디어와 디자인역량을 중요하게 생각한다. 아이디어 하나로 미래의 먹거리를 해결할 수 있다고 생각하기 때문이다. 스티브 잡스가 생전 성공할 수 있었던 비결이 우리의 혁신에 방해가 되고 있다. 즉 어떤 기기에 다양한 기능을 압축해서 끼워 넣는것을 강조하다 보니, 여러가지 실험과 혁신을 방해하고 있었다. 그리하여 우리는 이제 아이디어에 대해서 새로운 생각과 관점이 필요하다. 그리고 남다른 마인드도 요구되고 있다.

혁신은 하나의 질문이 아이디어가 되고, 아이디어는 실험에 의해서, 테스트하고, 성공과 실패로 구분된다. 이 세상에 모든 아이디어가 성공으로 이어진다면, 실패라는 단어, 실험이라고 말하지 않을 것이다. 즉 실험을 통해 검증되고, 사람들에게 널리 이용될 가능성을 찾아내는 것이다. 지금에야 반고흐의 작품이 비싸게 팔리고, 사람들에게 그의 작품 히나 가지길 소망하지만, 그가 살생전 하나의 작품만 팔렸다는 것을 본다면, 참 고무적이기도 하다. 즉 반 고흐의 혁신과정에서, 실험에서 실패를 거둔 케이스이며, 사후 성공으로 이어진 상황이다. 이러한 경우는 기업 혁신에서 반복되고 있다. 구글조차도, 마이크로소프트조차도 말이다.수많은 아이디어 가 생겨나고, 실험을 통해 테스트된 뒤 실패한 아이디어는 폐기된다. 구글 글래스가 바로 그 대표적인 사례이다. 어떤 아이디어가 비즈니스 가능성이 크다 하여도, 실제로 사람들에게 쓰여지거나 팔리게 되면, 여러가지 문제가 발생할 수 있고, 그 문제를 보완할 수 있을 때까지 테스트하게 된다. 지금도 논란이 되고 있는 자율주행자동차의 급발진 사고는 반복된 실험과 테스트 속에서, 문제를 끊임없이 발견하고, 대안을 도출한 뒤, 현실 속에 하나의 제품으로 완성될 수 있고,그것이 처음 어떻게 만들어졌는지 우리 스스로 잊어벌리 정도로 너무 당연하게 생각할 때, 혁신이라는 단어를 잊어버리게 된다.

25년간 비즈니스 실험을 연구한

하버드 경영대학원 교수가 전하는 실험을 통한 비즈니스 혁신법

세계 1% 기업들은 실험실에서 더 정확하게 예측하고 더 크게 성공했다!

신제품을 개발할 때, 새로운 아이디어가 수익 창출을 할 수 있을지 살펴볼 때, 비즈니스 모델을 수립할 때, 기업의 모든 리더는 자신이 올바른 결정을 내리길 원한다. 문제는 도움이 되는 정보와 데이터를 고르기 쉽지 않다는 것이다. 그래서 리더는 경험과 직관에 따라 조직의 다음 스텝을 정한다. 그 선택이 줄을 테스트하지 않고 번지점프를 하는 결정이라는 사실을 모르고 말이다.

하버드 경영대학원 교수이자 《실리콘밸리의 실험실》의 저자 스테판 H. 톰키는 말한다. 조직이 최선의 선택을 앞둔 모든 순간, “반드시 실험해야 한다”라고.

저자는 구글, 마이크로소프트, 페이스북, 넷플릭스 등 세계 최고 기업들의 혁신 비결을 비즈니스 실험에서 찾았다. 실리콘밸리 기업부터 위대한 성과를 이룬 기업들은 무슨 실험을 했을까. 어떻게 아이디어의 잠재력을 아는 실험조직이 될 수 있을까. 이 모든 질문에 대한 답이 이 책에 담겨 있다. 연간 1만 건 이상 비즈니스 실험을 하는 거대 기업들을 25년간 연구한 결과를 담은 《실리콘밸리의 실험실》은 출간 즉시 아마존 분야 베스트셀러에 올랐다. 또한 포브스 등 각종 매체에서 “최고의 비즈니스서” “최고의 경영서” “최고의 기술서”라는 찬사를 받았으며 글로벌 리더들의 지침서로 자리 잡은, 실험에 관한 가장 완벽한 저작이다.

☞ 선정 및 수상내역

★아마존 베스트셀러 ★포브스 선정, 최고의 기술서

★Inc. 선정, 최고의 비즈니스서

★월스트리트저널 추천 도서

★파이낸셜타임스 추천 도서

★퍼블리셔스 위클리 추천 도서

★글로벌 기업 CEO들의 추천

★MIT 슬론 경영대학원 교수 에릭 폰 히펠 추천

인사이트 한 문장

2016년 제프 베조스

우리에게 두드러지는 한 분야가 있다면 바로 실패라고 생각합니다. 나는 우리 회사가 세계에서 실패하기에 가장 좋은 곳이라고 믿습니다. 실제로 수없이 많은 시행착오를 겪으니까요! 실패와 발명은 분리할 수 없는 쌍둥이입니다. 발명을 하려면 실험을 해야 하는데, 사전에 효과가 있음을 알고 있다면 그것은 실험이 아닙니다. 대부분의 대기업은 발명 아이디어를 수용하지만, 거기에 도달하는 데 필요한 일련의 실패는 기꺼이 겪으려 하지 않습니다.

실리콘밸리의 실험실

실리콘밸리의 기업은 그냥 탄생되지 않는다. 수많은 실험과 실패로 탄생된다. 이 책에서는 다양한 사례와 생각해 볼 질문을 던져주어 좋았다. 요즘 실패에 대한 생각을 재정비하고 있는데 이 책을 만나게 되어서 시도하라는 메시지를 받은 것 같다. 안전하고 확실한 영역만 쫓다보면 도전을 하지 않게 된다. 하지만 위험을 감수하고 불확실한 영역에도 도전을 하게 된다면 새로운 기회가 열릴 수 있다. 실리콘밸리의 기업은 이를 아는 것 같다. 자신들이 행하는 행동이 옳다고 믿는 믿음과 수많은 실패가 모여 자신들의 가치와 존재 이유를 만들어주는 것 같다.

구글, 아마존, MS, 넷플릭스 등 성공하고 앞서가는 기업들이 혁신을 위해 끊임없는 실험과 검증을 거친다.

좋은 상품과 서비스는 쉽게 나타나지 않고 이러한 노력들을 통해서 검증되고 없어지고 다시 태어난다.

불확실성이 큰 시장에서 기업의 리더가 많은 결정과 신속한 결정을 내려야 하는데 우린 작은 사업이라도 너무 안일하게 결정학고 판단하고 실패했다고 하는게 아닌가 다세 생각해보는 책이다.

과학과 연구분야에서 활용되던 실험이 비즈니스 분야에 얼마나 이식되었는지, 어느정도로 이식되었는지, 그 효과는 어떠한지를 연구한 결과를 담은 책이다.

즉, 저자는 전통적인 방식의 의사결정에 있어 직관과 감이 중요했다면 달라진 현재의 비즈니스 의사결정에서는 철저한 실험 및 검증을 통해 객관적인 의사결정을 하는 것이 중요한 시대가 되었음을 주장한다.

실험을 바탕으로 한 결과를 극단적으로 보여주는 결과는 아래 그림과 같이 S&P500 기업의 주가 대비 실험 조직들의 주가를 예시로 들고 있다.

2008년도 기준지수 100을 기준으로 이후 실험문화를 정착시킨 조직의 기업가치가 얼마나 빠르게 급상승했는지를 보여주는 자료이다.

책의 구성을 요약하여 설명하자면 실험하는 조직이 왜 중요한지가 궁금하다면 책의 초반부를 읽으면 되고, 도대체 실험하는 조직이 무엇인지 궁금하고 그 사례를 살펴보고 싶다면 중반부를 읽어보면 된다.

만약 이미 실험조직을 잘 알고 있어 이를 현재 근무중인 기업에 도입하고 싶다면 후반부를 읽으면 되며, 여전히 실험의 중요성에 의문이 든다면 가장 마지막 장을 읽을 것을 권하고 싶다. 저자는 저자의 주장에 반박하는 의견들에 대해 가장 마지막 장인 7장에 요목조목 반박하고 있다.

나의 경우는 실험 조직이라는 것이 도대체 무엇이며 구체적으로 어떻게 적용되고 있는지 그 자체에 대하여 잘 알지 못했기에 중반부를 가장 흥미진진하게 읽었다. 만약 나와 처한 상황이 같은 독자라면 프롤로그 및 3장을 가장 먼저 읽을 것을 추천하고 싶다.

이 책에 실험조직의 여러 사례가 등장하지만 - 심지어는 스포츠 팀의 예시까지 등장한다 - 가장 흔하게 등장하는 기업은 MS와 부킹닷컴이다. 참고로 부킹닷컴은 처음들어보는 독자가 있을 수 있을텐데 세계적인 숙박 예약 업체라고 알고 있으면 된다.

비즈니스 분야의 용어나 책에 상당부분을 차지하는 통계 용어는 관련 사전 지식이 없다면 조금 이해하기 어려울 수 있기에 이 책에 등장한 가장 쉬운 예제를 소개해보며 어떻게 비즈니스에 실험을 적용하는지 소개해 보겠다.

MS에는 구글과 같이 Bing이라는 검색 서비스가 존재한다. 국내에는 주로 구글이나 네이버를 사용하지만 최근 미국 시장 내에서는 Bing의 사용 점유율이 상당히 높아졌다.

여담이지만 최근 ChatGPT까지 등장하였고 개발 주체가 OpenAI이고 이는 테슬라의 자회사이기에 MS와 거리가 멀다 생각할 수 있겠지만 사실 이 기관은 MS가 독점 투자하고 있는 것으로 알고 있다.

만약 ChatGPT의 기능이 상용화되어 Bing에 탑재되고 MS의 혁신이 지금이상으로 이어진다면 검색엔진 시장의 지각변동이 찾아와 Bing이 구글의 위상을 뛰어넘을 가능성이 크다고 생각한다.

아마 그런날이 온다면 이 책에서 소개되는 실험이 무수히 가동될 것임은 자명하다. 지금 소개할 실험의 한 예시는 MS의 Bing 검색엔진 서비스의 사소한 변화를 실험한 것이다.

아래 그림을 보면 알 수 있듯 상단의 그림은 대조군으로 현재 상태를 의미하며, 하단의 그림은 실험군으로 광고 업체의 우측에 설명이 추가되어 제목이 길어진 형태로 실험한 예시화면이다.

즉, 이는 널리 알려진 A/B테스트이다. 어떤 통찰에 기인한 가설을 세우고 그 가설의 결과 사실인지 실험하고 검증하여 사실인 경우 실험군으로 의사결정하는 방식이다.

다만 이 예시는 독자의 이해를 돕기 위한 가장 쉬운 예시일 뿐 MS에서는 이미 1만 건도 넘는 이러한 실험이 진행되었고 이에 따라 최적화된 객관적인 결과가 의사결정으로 도입되었다는 것이 주목할 부분이다.

참고로 위 Bing 실험의 아이디어는 수백가지 제안 중 하나였기에 엔지니어가 바로 반영하지 않았고, 다른 엔지니어가 6개월이 지나서야 반영하였는데 시스템의 경고가 울릴 정도로 급격한 매출의 상승을 유도한 혁신적인 아이디어였음을 나중에야 알게 된다.

이처럼 실험은 매우 중요하다. 이 아이디어가 중요한지의 여부는 인간의 직관으로는 정확하게 판단을 내릴 수 없기 때문이다. 만약 이 아이디어를 무시했던 엔지니어와 같은 판단을 하는 기업의 운명은 비즈니스 경쟁 사회에서 도태될 수 밖에 없게된다.

이것이 바로 저자가 강조하는 실험의 중요성이다. 그리고 어쩌면 이는 AI를 필두로 변화하는 세상에 각 기업에 요구되는 가장 기본적인 소양일지도 모르겠다.

AI역시 실험에서 비롯된 통계와 머신러닝 진영에 크게 영향을 받았다. 이 책에는 실험과 관련하여 통계와 관련된 설명이 책의 상당 부분을 차지한다. 즉, 아래와 같은 용어들이다.

이 도표에 등장하는 P값은 귀무가설을 검증하는데 필수적인 개념인데 이 책에 역시 이를 명확히 이해하지 못해 의사결정에 실수를 저지르는 조직의 대표가 예시로 등장한다.

책을 번외로 ChatGPT의 등장으로 요즘 주변 일반인들 사이에서도 이제 앞으로 AI를 얼마나 잘 활용하는지가 관련 직무에 대한 지식이나 노하우보다 중요시되는 시대가 다가온다고 농담처럼 주고 받는다. 즉, 직무적합성의 판도가 뒤집히는 시대가 멀지 않은 듯 하다.

같은 맥락으로 AI의 근간은 상당부분 통계로 이루어져 있고 실험 조직이 가능해지기 위해서는 AI의 기본 소양이 매우 중요한 시대가 될 것 같다는 생각이 든다. 주변의 일상 시그널들도 그렇고 이 책의 저자도 그렇게 말하고 있기 때문이다.

또 하나의 사례로 자주 언급되는 기업은 부킹 닷컴으로 이들은 10여년에 걸쳐 실험 중심의 의사결정과 문화를 회사 전직원이 갖춰오게 되었다. 실험 중심의 문화와 구성원의 가치관 반영에 관심이 있다면 5장을 정독할 것을 권한다.

더불어 비즈니스 실험을 위해 반드시 던져야 할 질문 7가지는 2장에 담겨있다. 각 질문이 차지하는 위상이 크나 일일이 언급하기엔 리뷰가 너무 길어지니 본 표를 참고하기 바란다.

흔히 S/W 분야를 필두로 강조되어왔던 애자일 문화나 MVP 기법 등이 역시 이 책에서도 강조된다. 팀뉴질랜드의 요트 경기라는 재미있는 사례로 이들은 민첩한 대응으로 24시간마다 실험하고 이를 의사결정으로 피드백한다.

이는 실험을 올바르게 적용하는 방법 중 하나인데 이에 대해 관심이 있다면 후반부를 정독할 것을 권하고 싶다.

개인적으로는 내가 몸담은 조직에 회의적이고 내게 이런 프로세스를 적용할 수 있는 권한도 없기에 후반부는 좀 설렁설렁 읽었지만 조직 혁신을 위한 구체적이고 엄격한 검증들로 채워져있으니 변화를 원하는 리더들에게는 큰 도움이 될 것이라 생각한다.

AI 도래에 따른 시대의 변화는 물론 이미 실험조직들이 달성한 비즈니스의 성과와 가치를 돌이켜보더라도 실험의 중요성은 더할나위 없이 중요하다 생각한다. 어쩌면 앞으로의 조직의 미래는 실험을 도입하는지 여부에 달려있다고 해도 과언이 아니라 생각한다.

이 책에는 실험 체계의 도입에 있어 철저한 검증을 바탕으로 한 저자의 연구결과와 인사이트가 담겨있기에 이 주제에 관심이 있거나 조직의 혁신에 활용하고 싶은 독자에게 강력히 추천하는 바이다.

• 책소개 - 실리콘밸리의 실험실

묵은 풍속, 관습, 조직, 방법 따위를 완전히 바꾸어서 새롭게 함.

네이버 국어사전

제 1장

세계 최고의 기업들은 왜 실험하는가 ?

제2장

비지니스 실험들을 위한 질문들

제3장

온라인 실험실 사용법

제4장

성공하는 조직의 실험은 무엇이 다른가

제5장

실험으로 혁신에 성공한 조직들

제6장

당신의 조직을 실험조직으로

제7장

비니지스 실험의 일곱 가지 그릇된 신화

이 책의 주제는 비지니스 실험을 통해 지속적으로 혁신하는 방법이 나온다.

혁신을 하는 이유는 홈페이지(회사)를 관리하는 사람들이나 이용 고객들이 편리하기 위하여 라고 생각한다.

책을 읽으면서 제일 많이 든 생각은 왜 우리 회사는 혁신을 외치면서

내부 시스템에 대해서는 혁신을 하지 않는 것인가?

라는 생각이 들었다.

그래서 책에서 나온

지속적인 혁신을 수용하는 조직이라는 말이 제일 감명이 깊을 정도였다.

유명한 회사들의 홈페이지들은 수많은 실험 끝에 지금의 결과물을 유지하고 매번 바꾸고 있다.

책에서 많이 나오는 부킹닷컴홈페이지는 접속하는 이용객들이 그 모두가 테스터라고 생각했다

디지털혁명으로 인하여 모든 개발자들이 실험을 열심히 하는 것이라고 생각한다.

(개발자님 화이팅...!)

어떻게 해야 조직의 자원이 현명하게 원인과 결과를 보고 적용 할 수 있을 지에 대해 여러 사례들이 나와 있고, 사용방법 그리고 다른 회사들은 무엇이 다른지에 대해서 알아보는 시간을 갖을 수 있었다.

부킹닷컴에서는 '대리점 모델' 이라는 것을 사용 하고 있는데

이경우에는 예약은 부킹닷컴에서 하고 결제는 호텔에서 하는 것인데

생각해보면 정상적 예약이 되었는지?약간의 의구심을 갖게 하기도 한다.

해외 여행을 갔을 경우 정상적으로 예약이 안되어 있다면 ? 이라는 생각이 들기도 하고

예약금을 걸지 않는 이상 손해보는 비용이 없을 것 같다는 장점이 있어 이것은 약간 ' 후불제'개념으로 보이기도 한다.

다른 여행 사이트의 경우 '판매자 모델'을 사용하고 있는데

이 경우 에어텔이나 렌트와 숙박이 합쳐진 상품을 구매 시 '선 결제'가 필요한 경우가 있어 이 방법을 택하기도 한다.

각자의 장단점이 있고, 부킹닷컴의 경우 판매자모델-＞대리점 모델로 옮겨갔을 것 같은데 책을 읽어보면

부킹의 장점을 최대화 하고 숙박 예약등의 부킹닷컴의 기여도가 크다고 보고 있어서

많은 업체들을 관리하기 좋은 것은 '대리점 모델'인가 싶기도 하다 ( 에이전시 모델)

내가 여행지를 고르고 숙박지를 고를 때는 그 주위의 관광지나, 시장등을 고려하는데 역시 이 모든것은 실험을 통하여

상품페이지에 지도가 있고, 숙박지에는 여러가지 정보를 담고 있다.

직관적으로 보기 쉬운 카테고리와 내용을 담고 있다고 생각을 한다.

모든 것은 실험에서 시작한다.

디지털 변화에 맞서 혁신을 해야한다.

7개의 시스템 지렛대에 대한 투자가 이뤄져야 한다.

개발자들만 테스트 하는 것이 아닌 직원들도 적극 나서서 실험을 하고 편리하게 이용할 수 있는 방법을 찾아 나서야 한다.

수 많은 실험들을 통해서 좋은 결과물이 많들어진 다는 것과

경우의 수를 생각할수도 있다.

너무 멀리 간것이 아닌가 라는 생각이 들기도 하는데 N (MBTI)라서 그런가보다. 라고 퉁치기도 한다. ^^;;

책을 읽으면서 혁신을 위해서는 확실히 실험이 필수! 였고

여러회사 구글, 마이크로소프트 등이 책에서 나왔는데

내가 사용하고 있는 구글 브라우저등도 열띤 테스트 실험(사소한 BAR 색깔까지) 을 통해 만들어진 것이다 라고 생각하면서 사용하게 될 것이다.

* 네이버 「디지털감성 e북카페」 카페 이벤트를 통해 출판사로부터 책을 무상으로 제공받아 읽고 쓴 서평입니다.

제목에 실리콘밸리가 들어간 것으로 알 수 있듯이 이 책은 IT기업과 전반적으로 관계가 깊으며, 주제는 기업의 성공을 위하여 실험조직을 갖추는 것이다.

특히 구글과 같은 온라인 기업의 경우 매우 쉽게 매우 많은 대상자들을 대상으로 다양한 실험을 할 수 있다.

예를 들어 버튼 색상을 노란색으로 할 것인지, 파란색으로 할 것인지에 따라 수익이 어떻게 변하는 지를 온라인 기업은 그들의 웹페이지에 즉각 반영하여 실험을 해 봄으로써 어떠한 변화가 관측되는지 실험을 해 볼 수 있는 것이다.

그리고 이렇게 하였을 때 만약 파란색이 더 많은 수익을 올렸다면 거기에는 어떤 인과관계가 있는지 알아야 한다는 것이다. 예를 들어 바탕색이 옅은 노란색의 바탕이기 때문에 노란색 버튼을 배치할 경우 버튼이 잘 보이지 않아 클릭률이 낮을 수 밖에 없을 것이라는 것을 실험을 통해 파악하고 원인과 결과를 얻을 수 있어야 한다는 것이다.

이 책에서 주로 다루는 실험도구는 A/B 테스트다. A/B 테스트는 현재(A, 챔피언)의 모습과 새롭게 적용하고자 하는 모습(B, 도전자)을 놓고 실험하여 어떤 것이 더 우세한 결과를 얻는가를 테스트 하는 것이다.

그리고 실험결과에 대한 상관관계와 인과관계에 대해 다루면서 상관관계의 늪에 빠지지 말 것을 경고하고 있다. 그러한 점에서 요즘 많이 다뤄지고 있는 분석도구인 빅데이터의 늪에서 빠져나올 것을 주문하고 있다.

이 책은 많은 부분을 인터넷 기업의 사례에 할당하고 있지만, 이 책의 내용이 인터넷 기업 혹은 IT기업에만 해당하는 것은 아니다. 이 책을 한마디로 요약하자면 혁신적인 조직을 만들기 위해서는 실험조직화 되어서 상시적인 실험을 가능하게 하여야 한다는 것이다.

＜ 실리콘밸리의 실험실 ＞ | 스테판 H. 톰키 지음 | 안진환 옮김 | 한국경제신문

이 책의 주제는 비즈니스 실험을 통해 지속적으로 혁신하는 방법으로 볼 수 있다. 이미 IT 영역에서는 A/B 테스트를 포함한 다양한 비교 실험 방법이 존재한다. 잘 설계된 실험방법과 가설을 비교군과 대조함으로 개선여부를 파악할 수 있는 기술이다. 하지만 이러한 실험을 통한 혁신은 비단 IT 영역뿐만 아니라 거의 모든 산업영역에서 시행될 수 있음을 이 책은 보여준다. 물론 이 책에서 언급되는 구글이나 넷플릭스, 페이스북, 부킹닷컴만 본다면 IT 영역에 치중되어 있다고 생각할지 모르겠지만 궁극적인 개념은 어디나 동일하다고 볼 수 있을 것 같다.

1장에서는 비즈니스 실험의 필수 요소를 살펴본다. 2장에서는 어떤 요인이 실험을 통한 학습에 기여하는지를 고찰한다. 3장에서는 좋은 실험이란 무엇인지에 대한 질문을 바탕으로 온라인 실험 역량을 창출하는데 필요한 것이 무엇인지를 탐구한다. 4장에서는 대규모 실험을 독려하는 조직의 문화가 구축 가능하지만 리더십이 얼마나 중요한지를 잘 보여준다. 5장에서는 부킹닷컴의 사례를 통해 진정한 실험 조직을 상세히 살펴본다. 6장에서는 앞의 사례들을 바탕으로 각 기업이 어떻게 실험조직을 구축하는지와 실험조직이 될 수 있는지를 살펴본다. 마지막 7장에서는 조직이 대규모 실험 문화로 진화해 가면서 이에 동조하지 않고 그릇된 주장을 하는 사람들을 언급하고 그들이 잘못된 부분이 무엇인지를 제시한다.

우리의 성공은 매일, 매주, 매월, 매년
몇 차례 실험을 하느냐에 달렸다.
- p. 83, 조프 베조스, 아마존 CEO -

책을 읽는 중간 중간 참고할만한 다양한 그림과 도표가 제시되고 있다. 제시된 그림과 도표를 통해 설명하는 내용을 개념적으로 바로 알 수 있는 것 같다. 또한 다양한 사례 제시와 그들이 행한 실험방법 및 접근법을 통해 어떤 준비를 해야하는지와 어떻게 실험해야 하는지를 잘 알 수 있게 되는 것 같다. 다른 한편으로 실험조직으로 나아가기 위해 필요한 요소들이 눈에 잘 드러나게 편집되어 있어서 제목만 보고도 중요한 핵심 요소가 무엇인지를 잘 인지할 수 있도록 되어 있는 것 같다.

앞으로의 기업은 경영자나 관리자의 경험이나 직관이 아니라 다양한 실험, 그것도 잘 통제되어 인과관계를 파악할 수 있는 수준의 실험을 통해 검증되고 개선될 수 있음을 알 수 있다. 그리고 이러한 실험을 위해 자체적으로 시스템을 마련하는 것도 필요하지만 전용 도구를 통해 좀 더 객관적인  실험과 분석이 필요하다는 것을 알 수 있다.

당신의 추측이 아무리 훌륭하든, 당신이 얼마나 똑똑하든,
당신이 어떤 권위를 지녔든, 달라질 것은 없다.
실험 결과와 일치하지 않는다면 틀린 것이다. 그게 전부다.
- p.123, 리처든 파인먼, 물리학자 -

자신의 조직을 개선하고 혁신하고자 하는 사람이라면 이 책을 통해 조직의 가설을 실험하고 평가하는 실험을 통해 객관적으로 분석할 수 있다는 사실을 알 수 있을 것 같다.

#도서제공 #한국경제신문출판사

구글, 아마존, 마이크로소프트, 넷플릭스…

그들은 실험실에서 더 정확하게 예측하고 더 크게 성공했다!

아마존 베스트셀러

포브스 선정 최고의 기술서

스테판 H. 톰키

- 하버드 경영대학원 경영학 교수

- 기술 개발, 고객 경험 설계, 사업 운영 개선, 조직 변화, 혁신 전략 등을 연구하며 글로벌 기업들과 협력

인상 깊은 문장

이 책의 주제는 비즈니스 실험을 통해 지속적으로 혁신하는 방법이다. (중략) 오늘날의 경영인들은 넘쳐나는 정보를 사방에서 받고 있음에도 정작 전략적, 전술적 의사결정에 도움이 되는 적절한 데이터는 부족한, 불확실성의 세계에서 회사를 운영하고 있다. 따라서 결과적으로, 좋은 싫든 경험과 직관과 신념이 공존하는 경향이 있다. 하지만 효과가 없는 경우가 흔하다. p.16

실험은 경영진의 그릇된 통념과 잘못된 비즈니스 직관을 뒤집는 데에도 도움이 된다. 더욱 현명한 의사결정은 궁극적으로 성과의 향상으로 이어진다. 퍼블릭스는 더 나은 실험을 통해 다음 두 가지 부분의 개선으로 수천만 달러를 절약할 수 있었다. 첫째, 회사는 성과 향상에 도움이 되는 혁신적인 제안을 진행할 수 있다고 확신하게 됐다. 둘째, 궁극적으로 수익을 훼손할 수 있는 변화와 변경을 피할 수 있게 됐다. p.121

온라인에서는 사소한 변경 사항을 많이 적용함으로써 성공에 이르는 경우가 많다. (중략) 실제로 대부분의 발전은 큰 영향을 미칠 수 있는 수백 또는 수천 개의 사소한 개선이 누적되고 반복됨으로써 이뤄진다. 그럼에도 때로는 인터넷의 거대한 규모 탓에 작은 변화 하나가 큰 보상으로 돌아올 수도 있다. p.134

경영진이 인내심을 갖추는 것도 중요하다. 성공적인 실험을 요구하는 것은 거짓 양성을 증가시킬 뿐이다. (중략) 경영진의 압력이 더해지면 사람들은 테스트 결과를 시간 단위, 심지어 분 단위로 확인한다. 그러면서 마음에 드는 결과가 나오면 승리를 선언하고 경영진에게 결과를 보고한다. p.214

진보에 반하는 주장이 대개 세 가지 형태로 표현된다는 결론에 도달했다. 바로 역효과 이론, 무용 이론, 위험 이론이다. 조직을 변화시키고자 할 때 반대파들은 이 세 가지 이론을 들이밀 가능성이 크다. (중략) 위험 이론 지지자들의 가장 강력한 무기는 두려움, 불확실성, 의심 이다. p.306

기업에서 데이터 실험을 해야 하는

이유와 방법을 담은 안내서 입니다.

흥미롭게 읽었습니다

기업이 혁신을 도모할 때 중요한 문제는 다음과 같습니다.

당신의 고객은 무엇을 소중하게 생각하는가?

고객이 원하는 것은 무엇인가? 실제로 어떻게 행동하는가?

궁극적으로 무엇을 가치있게 여기는가?

연구조사는 정확하지 않고 느린 결과를 내며 비용이 많이 듭니다.

과학적 정확도와 빠른 피드백, 저렴한 비용으로

파악하기 위해 기업 내 '실험 역량'을 키워야 합니다

과학적 탐구로 고객을 측정하는 것입니다.

그러기 위해서 경영진부터 조직 내부 전체의

데이터 기반 실험에 대한 관점을 바꿔야 합니다.

실험은 성공하던 실패하던 '계속해야 한다'고 합니다. 실패에서도 얻을 수 있는 정보가 있기 때문입니다.

따라서 이 실험에서 성공과 실패는 없는 것입니다

실험을 왜 계속해야 할까요?

시도할 때마다 고객과 시장이 구체적으로

드러나기 때문입니다. 정확하게 세밀하게 이해할수록

기업에 득이 되는 것입니다.

실제 어떻게 실험하고 학습(피드백) 해야 할지 등의

자세한 내용은 책에서 확인하실 수 있습니다

중간중간 아주 잘 정리되어 있는 표들이

책을 읽는 속도를 높여줬습니다

또, 체크리스트처럼 활용하셔도 좋을 것 같습니다.

- 디지털 전환의 5단계

- 훌륭한 비즈니스 실험을 위해 검토해야 할 부분

- 실험 문화의 특성

- 실전 온라인 실험을 위한 단계

- 잘못된 성과 차트, 한계, 리스크, 장애물은 무엇인가

- 혁신을 저해하는 그릇된 통념

인스타그램 mhreading

네이버블로그 mhreading