데이터 사이언티스트는 커뮤니케이션 능력, 현업에 대한 지식, 프로그래밍, 통계, 비즈니스에 대한 감각, 산업에 대한 이해 등 많은 역량을 갖추어야 한다. 처음에는 이 모든 것을 다 갖추어야 한다고 생각했기 때문에 부담이 가중되었다. 하지만 이 모든 것을 다 잘하는 사람은 천재가 아닌 이상 거의 없다. 누군가는 통계, 누군가는 프로그래밍, 누군가는 산업의 전문가일 수 있다. 하지만 이 모든 것을 공부해야 하는 이유는 팀을 이루고 일하기 때문이라고 생각한다. 따라서 서로의 영역을 이해하고 커뮤니케이션할 수 있는 정도면 충분하다. 그러나 분명한 것은 그중에서 나의 장점을 극대화시켜 나만의 브랜드로 만들어야 한다. 「데이터로 커뮤니케이션하기」--- pp. 31~32
현 시대의 기술은 한 개인의 역량으로 하나의 인공지능 시스템을 만들 수 있을 만큼 충분히 효율적인 상태라고 생각한다. 파이선이라는 언어만 봐도 단 하나의 언어로 서버, 데이터 처리, 인공지능, 시각화, 심지어 프론트엔드까지 개발이 가능하다. 자바(JAVA), C와 같은 언어로 개발해본 경험이 있는 사람이라면 가히 충격적인 효율성이라고 느낄 것이다. 현재는 개인 프로젝트로 인공지능 전문가들이 아닌 일반인들도 인공지능을 경험할 수 있도록 하는 교육용 웹 개발을 진행 중에 있다. 누구나 웹을 활용해 인공지능을 사용할 수 있다면, 더 많은 가치를 창출할 수 있다고 생각한다. 「웹을 활용해 인공지능을 사용할 수 있다면」--- p. 68
커머스 혁신담당 부서는 회사에서도, 업계에서도 초미의 관심사인 ‘콘텐츠 커머스’, ‘커머스 포털’에 대한 서비스의 초석을 다지는 곳이다. 고객들이 상품을 검색하면, 질의어에 맞는 상품을 인기순, 판매순, 최신순, 혜택순 등으로 보여주는 것이 그동안의 검색 결과 로직이었다. 하지만 많은 고객의 구매 평균값에 대한 상품 추천이 아니라, 그 질의어를 기반으로 어떤 상품이 좋은지 상품 간 비교, 전문가 리뷰와 해당 상품군의 최신 트렌드 등 ‘정보’를 보여줌으로써 상품 탐색 경로를 줄여주는 것이다. 다시 말하면 세상의 모든 정보를 기반으로 질의어에 연관된 자료들을 수집·추출·선별해 질의어와 매칭하고, 해당 콘텐츠(정보) 유형별로 연관된 상품을 보여주는 한 단계 진화된 e-커머스를 만드는 일이다. 「한 단계 진화된 커머스를 만들며」--- p. 82
애즈밸즈는 지하 매설물에서 빅데이터를 수집해 인공지능을 기반으로 영상 분석과 솔루션을 제공하는 회사다. 지하에는 상수도, 하수도, 열수송관, 통신선 등 수많은 매설물이 있다. 이런 지하 매설물에 이상이 생기면 많은 사람이 엄청난 불편을 겪게 된다. 최근에 있었던 경기도 일산 백석역 열수송관 파열이나 서울 마포구 아현동 KT 통신선 전소 사건이 좋은 사례다. 애즈밸즈는 행정정보(주소, 인구, 전출입, 민원 등), 계측정보(유량계, 구압계, 수질계 등), 기관정보(상·하수도 시설/블럭/관망 자료, 건물 자료 등) 등을 수집한 뒤, 평소에는 실시간 모니터링을 통해 사고 발생을 예방하고, 장애가 발생하면 장애 지점 도출과 위치 시각화 등의 서비스를 제공한다. 특히 빅데이터 수업에서 배운 내용과 인공지능 알고리즘을 회사 솔루션으로 개발하고 특허와 지적재산권을 획득하는 데 큰 도움이 되었다. 「지하 매설물에서 사업 아이템을 찾다」--- pp. 124~125
대표적인 사례로 제시된 것은 미국 뉴욕의 맨홀 뚜껑 폭발과 미숙아실 사망 사고 해결이었다. 오래된 도시인 뉴욕에는 간혹 맨홀 뚜껑이 폭발해 하늘로 솟아올랐다가 떨어지는 일이 있는데, 그럴 때마다 뚜껑이 엄청 무거운 쇳덩어리인 탓에 큰 사고가 발생했다. 문제는 언제 어디서 폭발할지 알 수 없다는 것이다. 그래서 통계학자, 데이터 사이언티스트, 도시계획 전문가들이 모여 200년간의 도시 설비·인프라 자료 중 구할 수 있는 모든 것을 구해서 분석했다. 이를 통해 ‘폭발하는 맨홀 뚜껑’의 패턴을 도출한 후에 같은 패턴을 보이는 맨홀 뚜껑을 집중관리하기 시작해 사고를 막았다. 왜 그런 맨홀들이 폭발하는지 그 원인은 모르지만 문제는 해결된 것이다. 「빅데이터가 마련해준 거대한 실험장」--- p. 153
오프라인이든 온라인이든, 어떤 상품을 어떤 셀러와 어떻게 판매가 잘 되도록 만드느냐 하는 것이 상품 기획자의 책임이자 권한이었다. 자부심도 높고 사실 누구도 쉽게 넘볼 수 없는 직군이었다. 셀러들은 상품 기획자의 감(능력)에 따라 한해 거래액이 좌지우지될 정도로 의존도가 높았다. 하지만, 언젠가부터 ‘왜?’라는 질문을 받게 되었다. ‘왜 이 상품인가요? 왜 이 셀러인가요? PV는요? CVR(Conversion Rate, 구매 전환율)은요? Impression(광고 노출)은요?’ 이렇게 공식을 요구하는 듯했다. 내가 아니라 어느 누군가가 오늘부터 상품기획자를 시작한다고 해도 바로 베스트셀러 상품을 만들 수 있는 마법의 공식 같은 거 말이다. 「데이터와 분석 역량으로 무장한 MD」--- p. 184
데이터 분석 업무를 수행하려면 데이터 전처리 업무가 선행되어야 한다. 데이터 전처리 업무는 IT 담당자가 강점을 갖고 있는 반면, 데이터 분석 업무(모델링)는 데이터 분석가가 강점을 갖고 있기 때문에 일반적으로 데이터 분석 파트와 전처리 파트가 분리되어 각각의 업무를 수행하는 형태로 진행된다. 하지만 실제적으로 전처리 파트(IT 담당자)와 분석 파트(데이터 분석가)에서 바라보는 데이터 관점이나 형태가 달라 반복적으로 재작업을 해야 하는 경우가 생긴다. 이와 더불어 실제 분석 업무 수행 시, 다양한 방법으로 접근하기 위해 추가적인 전처리 과정이 필요할 때도 있다. 내가 추구하고자 하는 커리어는 데이터 분석 전문가를 목표로 하되, IT 파트의 역할도 지원할 수 있는 사람이 되는 것이다. 「데이터 전처리도 커버하는 데이터 사이언티스트」
--- pp. 224~225