이 책에서 다루는 것

여러분이 기본적인 프로그래밍 기술이 있고 소셜 네트워크 서비스 마이닝과 분석을 함으로써 생길 기회에서 얻을 통찰력에 흥미가 있다면 올바른 장소에 잘 찾아왔다. 앞부분 몇쪽만 읽고 나면 책에서 손을 뗄 수 없을 것이다. 그러나 단도직입적이고 솔직하게 말하면 각 장의 내용이 너무 짧아 불만이 있을 것이다. 불행히도 매일 진화하고 기회로 찬 인터넷 공간을 따라잡으려면 그럴 수밖에 없다. 그렇긴 해도 지은이는‘80-20 법칙’(http://en.wikipedia.org/wiki/Pareto_principle)의 팬이다. 그래서 이 책이 여러분이 사용 가능한 시간의 80%를 활용하여, 탐구하기를 원할 인터넷 공간에 관해 가장 흥미 있는 20% 를 제공하려는 합리적인 시도를 한다고 진심으로 믿는다.

이 책은 짧지만 광범위한 기본을 다룬다. 쉽게 말해 상황과 주제는 더 자세한 논의가 필요할 만큼 충분히 복잡하지만 깊이 있게 썼다기보다는 폭넓고 쉽게 서술했다. 흥미 있는 마이닝과 분석 기술은 깊이 다루었다. 이 책은 소셜 네트워크 데이터를 분석하기 위한 폭넓은 지침을 얻게 처음부터 끝까지 읽거나 특별히 관심 있는 분야를 선택해서 읽어도 된다. 다시 말해 각 장은 적절한 분량의 독립적인 내용이고, 즐겁게 읽게 하려고 특별히 순서를 주의 깊게 구성했다.

페이스북, 트위터, 링크드인 등 소셜 네트워크 서비스는 요즘 몇 년 사이 일시적인 유행에서 전 세계적인 주류로 변화했다. 2010년 1/4분기에는 인기 있는 소셜 네트워크 서비스인 페이스북이 구글의 페이지 방문자 수를 뛰어넘었는데, 이는 사람들이 온라인에서 시간을 보내는 대상이 이동되었음을 명확히 보여준다. 이러한 현상으로 웹이 연구나 정보를 위한 도구에서 현재 사회적 환경이 되었음을 부인할 수 없다. 소셜 네트워크 서비스는 검색엔진이 충족시키지 못했던 매우 근본적인 인간의 욕구를 광범위한 방법으로 만족시킨다. 소셜 네트워크는 온라인 또는 오프라인에서 우리의 삶을 진정 변화시키고, 기술로 하여금 최선의 것(가끔은 최악의 것)을 이끌어내게 하고 있다. 소셜 네트워크의 폭발적인 증가는 실제 현실과 가상공간의 틈을 지속적으로 줄여주는 방법이다. 각 장은 다음과 같은 물음에
답을 주려고 데이터 마이닝, 분석, 시각화 기술과 소셜 네트워크 서비스를 엮어주고 있다.

● 누가 누구를 알고, 어떤 친구를 함께 아는가?
● 사람들이 얼마나 자주 이야기를 주고받는가?
● 사람들 사이의 통신이 얼마나 대칭적인가?
● 소셜 네트워크에서 누가 가장 조용하고, 수다스러운가?
● 누가 가장 영향력 있고, 인기 있는가?
● 사람들이 무엇을 이야기하고, 관심 있는가?

이러한 질문의 대답은 일반적으로 둘 또는 그 이상의 사람을 함께 연결하고, 왜 그러한 연결 관계가 존재하는지 알려주는 문맥을 가리킨다. 이러한 질문에 답을 찾는 일은 단지 더 복잡한 분석 절차의 시작일 뿐이다. 그러나 여러분은 어디에서라도 시작해야 하고, 잘 만들어진 소셜 네트워크 API와 오픈 소스 툴킷을 이용하여 놀라우리만치 쉽게 답을 얻게 된다.

대략적으로 이 책은 소셜 웹을 사람, 행동, 사건, 개념 등의 그래프로 다룬다. 구글과 페이스북 같은 리더는 그래프 기반의 API를 동시에 개발하면서 웹 중심 언어보다는 그래프 중심 언어를 더 많이 사용하기 시작했다. 사실 팀 버너스리(Tim Berners-Lee)는‘웹’과‘그래프’라는 용어가 인터넷에 대한 토폴로지를 정의할 때 자유로이 혼용되기 때문에 World Wide Web(WWW) 대신 Giant Global Graph(GGG) (http://dig.csail.mit.edu/breadcrumbs/node/215) 용어를 사용해야 했다고 제안한다.

팀 버너스리의 원래 비전은 여전히 유효하지만, 웹은 소셜 데이터로 더욱더 풍부해지고 있다. 몇 년 전을 되돌아보면 소셜 웹으로 생성된 2단계, 3단계의 영향이 의미론적 웹을 인식하게 했다. 둘 사이의 틈이 점점 좁혀지고 있다.

이 책에서 다루지 않는 것

자신만의 자연언어처리기 만들기, 시각화 라이브러리의 일반적인 사용을 넘어서는 수준, 최신의 것 만들기는 이 책의 범위를 벗어난다. 이러한 것을 위해 이 책을 구입했다면 실망할 수도 있다. 그러나 텍스트 분석 또는 수백 페이지 안에서 기록 매칭을 하는 것이 현실적이지 않다거나 우리의 목표가 아니라는 것이 어려운 문제를 해결하는 합리적인 방법을 알려줄 수 없음을 의미하지 않는다. 이러한 방법을 소셜 웹에 적용하고 그 과정에서 재미를 느껴라. 또한 이렇게 흥미로운 연구분야에 관한 적극적인 관심이 잠재적으로 여러분이 생각하게 되는 훌륭한 아이디어가 될 수 없음을 의미하지 않는다. 이 책처럼 짧은 책은 여러분의 흥미를 돋우고, 데이터 해킹에 관한 열정으로 더 깊은 연구를 하게 충분한 통찰력 제공 이상을 하지 못한다.

또 다른 중요한 점은 여러분이 인터넷에 접속되었어야 한다. 이 책은 하이퍼링크된 참조사항이 많고, 모든 코드 예제가 직접적으로 GitHub(http://github.com, 소스코드 공유가 목적인 분산형 협업 개발 호스팅 서비스- 옮긴이)에 하이퍼링크 되기 때문에 휴가 때 인터넷이 되지 않는 지역에 들고 가서 읽을 책은 아니다. GitHub은 Git(분산형 소스 관리 시스템- 옮긴이)의 저장소이며, 항상 최신의 예제 코드를 반영한다. 소셜 코딩으로 우리처럼 공통 관심사가 있고, 예제를 개발하고, 흥미로운 문제를 해킹하는 일을 함께 작업하기를 원하는 사람들의 협업을 진작시키기를 기대한다. 여러분이 소스를 확장하고 향상시키기를 기대한다. API docs와 같은 온라인 정보 소스들도 하이퍼링크 되어 있다.

툴과 사전 준비

이 책을 위한 단 하나의 사전 준비는 파이썬을 배우고 소셜 데이터를 분석하려는 욕구를 갖기에 충분한 동기부여이다. 이 책의 기술(技術)과 예제는 데이터 분석, 고성능 컴퓨팅, 분산 시스템, 하드웨어 지식 등에 관한 깊은 배경 지식을 필요로 하지 않는다. 어떤 예제는‘thread pool’(http://en.wikipedia.org/wiki/Thread_pool_pattern) 같이 이전에 사용해 보지 않은 구조를 포함하지만, 우리는 파이썬으로 프로그래밍하므로, 조바심을 내지 마라. 파이썬의 직관적인 문법, 데이터 처리를 위한 놀라운 패키지 모음, ‘JSON’(http://www.json.org)이라는 핵심 데이터 구조는 매우 강력하고, 실행하기 쉬운 훌륭한 교재이다. 자연어 처리 같은 꽤 앞선 기술을 처리하는 패키지를 사용하는 다른 경우에서는 응용 프로그램 개발자로서 기술을 사용하는 관점에서 접근한다.

파이썬은 매우 적절한 툴이므로 이 책은 파이썬 선택을 정당화하기 위한 시도나 파이썬 사용에 양해를 구하지 않는다. 프로그래밍을 처음 해보거나 파이썬 문법을 본 적이 없으면 몇 페이지 훑어보는 게 여러분이 확인해야 할 전부이다. 훌륭한 문서들이 온라인에 있고, ‘공식적인 파이썬 지침서’(http://docs.python.org/tutorial/)는 좋은 출발점이다.

이 책은 개인 용도의 스프레드시트부터 산업용‘Graphviz’(http://www.graphviz.org)까지 또는‘Protovis’(http://vis.stanford.edu/protovis) 같은 최첨단 HTML (http://en.wikipedia.org/wiki/HTML5) 기술까지 다양한 시각화 툴을 통한 유용한 시각화 방법을 소개한다. 각 장마다 새로운 시각화 방법 두 가지를 자연스럽게 이해하기 쉬운 방법으로 소개하려고 적절하게 시도했다. 여러분은 이러한 툴로부터 가벼운 프로토타입을 만드는 아이디어에 익숙해질 필요가 있다. 즉 이 책에서 대부분의 시각화는 특별한 예제 또는 API를 최소한도로 사용하는 뛰어난 예제 또는 프로젝트에 관한 약간의 변형이다. 여러분이 배우려고 한다면 좋은 결과를 얻는다.

이 책의 특징

소셜 네트워크 서비스에 대한 정확한 개요를 파악한다.
트위터, 페이스북, 링크드인의 소셜 네트워크 API로부터 데이터를 수집하기 위해 GitHub에 있는 조작할 수 있는 스크립트를 사용한다.
수집한 데이터를 처리하기 위해 사용이 편리한 파이썬 툴을 이용하는 법을 배운다.
XHTML 친화적인 네트워크와 마이크로 포맷으로 연결된 소셜 네트워크에 대해 분석한다.
TF-IDF, 코사인 유사도(cosine similarity), 연어 분석(collocation analysis), 문서 요약(document summarization), 그리고 결속집단 탐지(clique detection)와 같은 진보된 데이터 마이닝 기술을 적용한다.
HTML5, 자바스프립트 툴킷 기반의 웹 기술과 상호작용을 하는 시각적인 결과물을 만든다.