우리가 『코드의 미학(Beautiful Code)』을 출간하고 나서 후속 주제로 ‘데이터의 미학(Beautiful Data)에 대해 정리해보자는 아이디어를 생각해냈다. 이는 요즘 시대 분위기에 걸맞게 매우 흥미롭고 이상적인 주제였다. 데이터의 수집과 시각화, 처리 절차는 이제 모든 전문 분야 및 일상의 무수히 많은 모습과 관련되기에, 대규모 데이터 수집은 규모 측면에서 논리적인 수준을 넘어서게 될 것이다. 우리는 존경과 관심을 받는 여러 사람을 만났으며, 놀랍게도 매우 많은 사람이 참여 의사를 전해왔다.

이 책은 그 결과이며, 우리는 이 책을 통해 데이터를 이용한 작업이 얼마나 다양한 영역에서 멋지게 수행될 수 있는지를 단적으로 보여주고 싶었다. 이 속에서 여러분은 정부 협력 사업부터 화성 탐사선과 관련된 작업에 이르기까지 많은 것을 배울 수 있다. 또한 통계 프로그램 사용 방법과 시각화 방법, 라디오헤드(Radiohead) 비디오 믹싱도 배우게 될 것이다. 더불어 지도와 DNA, 소위 ‘데이터 철학(data philosophy)’이라고 표현할 수 있는 다양한 이야기를 만나게 될 것이다.

여러분 스스로가 데이터를 다룰 때 세상이 어떤 모습이 될지를 생각해보기를 바란다.
---「저자서문」

이 책의 영문 원서 제목인 'Beautiful Data'에서 뷰티풀이란 단어가 참 이색적이다.

딱딱한 IT 세상에 '아름다운'이라는 감성적인 형용사를 책 제목의 수식어로 사용하는 것이 흔한 일은 아니다. 글자로만 살펴보면 소프트웨어의 soft라는 단어는 언제든 beautiful이라는 단어와 연관성이 높은 단어임에 틀림없다. 소프트웨어 기술 도서를 전문적으로 출판하는 오라일리(O'REILLY) 사에서 『뷰티풀 버추얼라이제이션(Beautiful Virtualization)』, 『뷰티풀 코드(Beautiful Code)』, 『뷰티풀 아키텍처(Beautiful Architecture)』 등 뷰티풀이란 수식어로 시작하는 제목의 소프트웨어 도서 연작을 출판한 바 있다.

이 책은 여러 분야의 데이터 처리에 대한 다양한 시도와 경험에 직접 참여한 전문가들이 들려주는 생생한 기록들로 구성되어 있다. 최근 국내외적으로 큰 관심을 받고 있는 빅데이터 적용 사례부터 정치, 경제, 사회, 과학, 개인생활은 물론, 예술 분야까지 다양한 데이터 활용 사례와 적용된 소프트웨어 기술이 이야기를 들려주듯 자연스럽게 기술되어 있다. 소프트웨어에 대한 세부적인 기술을 알지 못하는 독자라도 새로운 데이터 처리 기술과 활용 경험을 쉽게 공감할 수 있을 것이다. 특히 페이스북에서 구축한 빅데이터 분석 시스템의 사례를 실제 프로젝트의 참여자가 직접 해당 시스템을 개발하게 된 이유와 문제점, 해결 과정 등을 생생하게 전달해, 빅데이터 적용 과정을 같이 간접적으로 체험할 수 있을 것이다. 또한 야후의 데이터 시스템을 구축한 사례는 대용량 데이터 처리를 위해 글로벌 분산환경으로 데이터 시스템을 구축한 과정이 자세히 기록되어 있어 매우 흥미로운 경험이 될 수 있을 것이다.

실제 이 책이 미국에서 출간된 것은 2009년 7월로, 번역서가 출간되는 현 시점에서 보면 적지 않은 시간이 흘렀지만, 오히려 지금 빅데이터가 국내외에 가장 큰 기술 동향이자 개인의 생활에까지 영향을 줄 것으로 기대되고 있어, 이 책에 담긴 다양한 데이터 활용 사례는 퇴색되지 않는 보석 같은 아름다움과 의미를 제공할 것이다. 2004년 구글에서 빅데이터의 분산처리를 위한 빅테이블(BigTable)과 구글파일시스템(Google File System, GFS)을 발표한 지 10년이 가까워오며, 최근 빅데이터 분야는 클라우드 기술을 넘어 대중적인 큰 관심과 기대를 받고 있다. 이 책에 실린 다양한 데이터 활용 사례를 기반으로 독자들이 일하는 분야에서 데이터 활용을 상상한다면 새로운 빅데이터의 생명력은 더욱 성장하고 진화할 수 있을 것이다.

현재 국내에서 빅데이터 기술과 적용에 대한 관심은 2012년부터 본격적으로 시작됐다. 이 번역서가 출간되는 2013년은 기업과 공공기관의 폭발적인 관심과 도입의 노력으로 거의 모든 컨퍼런스는 빅데이터와 관련된 내용으로 채워지고 있으며, 기존에 데이터와 관련된 모든 기술은 빅데이터 기술로 통합되거나 변형을 꾀하고 있다.

과거에는 단순히 저장만 하던 대량의 비정형 데이터를 기반으로 새로운 비즈니스 가치를 찾아내는 노력과 성과는 매우 고무적이다. 하지만 오직 비정형 데이터 분석에만 치우쳐서 실제 폭넓은 가치를 제공하는 기존 정형 데이터의 분석은 그 중요성이 많이 간과되고 있는 점은 매우 아쉽다. 실제 일부 대규모 인터넷 포털이나 통신 업체에서 텍스트 데이터나 소프트웨어 로그를 분석해 의미 있는 빅아이디어를 도출해 내는 경우가 있다. 하지만 대부분의 기업이나 공공기관에서 의미 있는 주요 데이터는 모두 정형 데이터로 관리되고 있다. 따라서, 일부 비정형 데이터에서 새로운 통찰력을 찾아내더라도 해당 내용을 검증하고 다양하고 풍부한 빅아이디어를 발견하기 위해서, 비정형 데이터에서 추출된 의미 있는 데이터를 정형화해서 대량의 정형 데이터와 통합해서 분석할 수 있어야 한다.

최근 1~2년 동안 일부 대기업은 초기에 빅데이터 기술을 비정형 데이터 분석에만 초점을 맞췄지만, 결국 후속 사업에서는 비정형 데이터 분석을 통해 정제된 데이터를 기존 정형 데이터와 통합해 포괄적인 분석을 하게 되는 시행착오를 거치고 있다. 공공기관의 경우, 구체적으로 무엇을 분석할지에 대한 고민보다는 단순히 빅데이터 인프라 시스템만을 먼저 구축하려고 시도하는 경향이 있어, 정작 기본적인 데이터 소스에 대한 범위와 확보 방안에 어려움을 겪고 있다.

해외 대형 소프트웨어 벤더들은 주로 기존 어플라이언스 제품에 하둡 플랫폼을 결합해 백화점식 빅데이터 솔루션으로 포장해, 고객에게 단순 제품 중심의 기술 판매에 치중하는 분위기다. 우리는 이전에도 많은 기술 동향에 부흥하고 잊혀지는 경험을 했다. 수년 전 SOA(Service Oriented Architecture)가 해외 벤더들의 ESB(Enterprise Service Bus) 솔루션 중심으로 주도되어 고가의 ESB 관련 제품이 기업에 도입됐음에도 성능 및 활용성의 제약으로 애물단지로 전락한 바 있다. 당시 정작 본질적인 비즈니스 애플리케이션의 재활용과 즉시성을 효율적으로 제공하지 못하는 현실적인 솔루션의 부재와 소프트웨어의 개발 및 운영 관리기술이 정착되지 못했던 것이 주요 원인이었다고 판단된다.

빅데이터 기술이 좀더 영속적인 생명력을 지님으로써, 기업과 기관을 넘어 국민 개개인에게도 좋은 가치와 혜택으로 돌아올 수 있는 진정한 '아름다운 기술'이 되기를 기원한다. 그러기 위해 먼저 데이터의 활용에 대한 고민과 노력이 선행되어야 한다. 이 책은 아마 기존에 출간된 어떤 책보다도 최신의 데이터 활용 사례와 기술을 폭넓고 재미있게 들려줄 것이다. 이 책이 독자들에게 스스로 자신의 분야에서 빅데이터의 활용을 상상하는 데 작은 도움이 되기를 기대한다.

여러 분야의 데이터 처리에 대한 다양한 시도와 경험에 직접 참여한 전문가들이 들려주는 생생한 기록들이 담긴 책이다. 최근 전 세계적으로 큰 관심을 받고 있는 빅데이터 적용 사례부터 정치, 경제, 사회, 과학, 개인 생활은 물론, 예술 분야까지 다양한 데이터 활용 사례와 적용된 소프트웨어 기술이 이야기를 들려주듯 자연스럽게 기술되어 있다. 소프트웨어에 대한 세부적인 기술을 알지 못하는 독자라도 새로운 데이터 처리 기술과 활용 경험을 쉽게 공감할 수 있을 것이다.<br/><br/>“실로 데이터는 컴퓨터 애플리케이션의 차세대 ‘인텔 인사이드(Intel inside)’가 될 것임이 분명하다. 이 책에서 데이터 모델링과 설계 업계의 세계적 선두 주자들은 자신들의 프로젝트가 새로운 방식으로 어떻게 데이터 영향력을 제고하는지를 소개한다. 데이터와 문제 해결에 미래 지향적 관점을 지닌 사람이라면 누구나 꼭 읽어야 할 책이다.”<br/>- 팀 오라일리(Tim O’Reilly), 오라일리미디어 설립자이자 CEO<br/><br/>데이터 처리 분야 최고 전문가들의 이야기를 한 권의 책에서 만나다! 데이터를 이용해 얼마나 광범위하고 멋진 작업을 할 수 있는지를 살펴볼 수 있다. 이 책에서 최고의 데이터 활용가 39인은 자기 분야의 다양한 프로젝트 과정에서 경험한 단순하면서도 우아한 솔루션 개발 방법을 제시한다. 화성 탐사선에서 라디오헤드(Radiohead) 비디오에 이르는 다양한 주제에 더불어 그 이상의 이야기를 담고 있다. <br/><br/><b> 이 책에서 다루는 내용 </b><br/><br/>■ 방대한 온라인 데이터에 숨은 기회와 도전의 실체<br/>■ 지도와 데이터의 매시업을 이용해 도시 범죄의 경향을 시각화하는 방법<br/>■ 크라우드소싱(crowdsourcing)과 투명성으로 인해 제약 연구가 발전하게 된 배경<br/>■ 새로운 데이터가 기존의 데이터와 중첩됐을 때 사용자에게 경각심을 일으키는 방법<br/>■ DNA 데이터를 가공하기 위해 필요한 거대한 인프라<br/><br/><B>이 책의 구성</B><br/><br/>각 장은 데이터의 수집부터 데이터의 저장과 조직화, 조회, 시각화, 분석으로 이어지는 대략적인 흐름으로 구성되어 있다.<br/><br/>1장, ‘데이터 속에서 생활 찾기’는 네이선 야우가 기고한 것으로, 최근 사적인 데이터 수집 분야와 관련된 두 프로젝트에서 실제 숨겨진 동기와 도전의 과정을 볼 수 있다.<br/><br/>2장, 조너선 폴렛과 매튜 홈의 ‘아름다운 사람들: 데이터 수집 방법을 설계할 때 사용자를 항상 고려하기’는 웹에서 사람들의 참여를 통해 데이터를 수집할 때 신뢰와 설득, 테스팅이 얼마나 중요한지를 다룬다.<br/><br/>3장, 존 휴즈의 ‘화성 탐사 임베디드 이미지 데이터 처리’는 우주 비행 시 제약 조건을 감안해 데이터 처리 시스템을 설계할 때의 어려움과 노력을 이야기한다.<br/><br/>4장, 브라이언 쿠퍼와 라규 라마크리슈난, 우트크라시 스리바스타바가 공동 기고한 ‘PNUTShell의 클라우드 스토리지 설계’는 야후가 현대적 웹 애플리케이션을 지원하기 위해 전 세계에 분산된 데이터 센터를 하나의 스토리지 플랫폼으로 전환하기 위해 설계했던 소프트웨어를 소개한다. <br/><br/>5장, 제프 해머바커의 ‘인포메이션 플랫폼(information platform)과 데이터 사이언티스트(data scientist)의 부상’은 정보 처리 도구의 진화와 그것을 개발한 사람들을 추적한 장으로, 페이스북 데이터팀의 사례를 소개하고 있다.<br/><br/>6장, 제이슨 다이크스와 조 우드의 ‘사진 보관물의 지리학적 미학’은 지역 사회 구성원의 자발적 참여를 통해 수집된 공간 데이터를 다양한 색깔로 시각화한 결과가 주는 영향력과 보편성을 그리고 있다.<br/><br/>7장, 제프 조나스와 리사 소콜이 공동 기고한 ‘데이터를 통한 데이터의 발견’은 많은 이가 데이터를 관리하기 위해 적용할 필요가 있는, 데이터를 생각하는 새로운 접근방법을 설명한다.<br/><br/>8장, 주드 발레스키의 ‘실시간 포터블 데이터’는 웹에서 실시간으로 사회적이면서도 공간 위치를 나타내는 데이터를 배포할 때 발생하는 자체적인 한계를 깊이 있게 다루며, 이 문제의 잠재적 해결 방안을 소개한다.<br/><br/>9장, 앨런 핼리비와 자얀트 매드헤이븐이 공동 기고한 ‘딥 웹(Deep Web)에서의 서피싱’은 웹 공개 폼을 이용해 현재 확보된 데이터를 검색할 수 있도록 구글이 개발한 도구를 소개하고 있다.<br/><br/>10장, 아론 코블린과 발딘 클럼프가 공동 기고한 ‘라디오헤드의 카드로 만든 집 짓기’는 버스 뒤에 장착된 레이저와 프로그래밍, 운행, 뮤직 비디오 수상으로 끝나는 일련의 모험담이다. <br/><br/>11장, 마이클 미거스키의 ‘도시 데이터의 시각화’는 우리 주변 일상의 가장 중요한 데이터 중 일부를 해방시키고 아름답게 만드는 과정을 자세히 소개한다.<br/><br/>12장, 제프리 히어의 ‘Sense.us 설계’는 150년간 미국 인구통계 데이터를 탐색하기 위해 시각화한 데이터를 사회적 공간 형태로 재구성해 새로운 관점으로 분석한 것이다.<br/><br/>13장, 코코 크룸의 ‘데이터가 하지 못하는 것’은 사람들이 저지르는 데이터에 대한 오해와 잘못된 사용의 다양한 형태를 보여주는 실험적 작업이다.<br/><br/>14장, 피터 노르빅의 ‘자연어 문집 데이터’는 웹에서 확보한 조 단위의 자연어 문집을 이용해 독자를 연상 훈련에 빠져들게 한다.<br/><br/>15장, 매트 우드와 벤 블랙번의 ‘데이터로 본 생명: DNA 이야기’는 DNA 데이터의 아름다움과 해당 데이터의 생성과 획득, 가공에 필요한 거대한 인프라를 소개한다.<br/><br/>16장, 장 끌로드 브래들리와 라자시 구아, 앤드류 랭, 삐에르 린덴바움, 카메론 네일론, 앤토니 윌리엄스, 이건 윌릭해이건이 공동 기고한 ‘현실 세계에서의 데이터 미화’에서는 크라우드소싱과 극한 투명성이 결합해 제약 연구 수준을 높이는 방법을 소개하고 있다.<br/><br/>17장, 브렌던 오코너와 루카스 비월드의 ‘표면 데이터 분석: 사회적 고정관념 탐색’은 사람들이 익명으로 다른 사람의 사진에 점수를 매기도록 요청 받았을 때 나타나는 상관관계와 패턴을 보여준다. <br/><br/>18장, 해들리 위컴과 데보라 스웨인, 데이비드 풀의 ‘베이 에어리어 블루스(Bay Area Blues: 주택 위치의 효과)’는 독자를 공개 소프트웨어와 대중적으로 쉽게 구할 수 있는 데이터를 이용해 미국 서부 베이에어리어의 최근 주택시장 붕괴에 대한 세부적인 조사를 경험할 수 있는 글이다. <br/><br/>19장, 앤드류 젤만, 조너선 카스텔렉, 야이르 기짜가 함께 기고한 ‘정치적 데이터의 미학’은 통계학적 도구와 데이터 시각화를 이용해 사회의 조직화에 필요한 정치적 프로세스에 대한 통찰력을 얻는 방법을 소개한다. <br/><br/>20장, 토비 세가란의 ‘데이터의 연계’는 웹에서 얻을 수 있는 방대한 데이터 집합을 연계할 때의 어려움과 가능성에 대해 살펴본다.