21세기 최대의 화두는 빅데이터(big data)이다. 요즘 빅데이터라는 말이 자주 사용되고 있지만 빅데이터가 정확히 무엇인지 알고 있는 사람은 많지 않으리라 생각한다. 빅데이터란 과거 아날로그 환경의 데이터에 비해 규모가 방대하고, 생성 주기가 짧으며, 수치 데이터뿐만 아니라 문자와 영상데이터를 포함하는 대규모 데이터를 말한다. 따라서 과거에 비해 데이터의 양은 물론 질과 다양성 측면에서 새로운 패러다임의 데이터를 의미한다.

요즘 인터넷과 모바일 기기 이용이 생활화되면서 엄청난 양의 데이터가 실시간으로 양산되고 있다. 1분 동안 트위터에서는 약 40만 건의 메시지가 트윗되고 페이스북에서는 60만 명이 로그인하며 구글에서는 약 400만 건의 검색이 이루어지고 있다. 쇼핑의 예에서도 종전에는 상점에서 물건을 살 때만 데이터가 기록되었으나 오늘날에는 인터넷쇼핑몰의 경우 방문자가 구매를 하지 않더라도 어떤 상품에 관심이 있는지, 얼마 동안 쇼핑몰에 머물렀는지를 포함하여 방문자의 행적 하나하나가 데이터로 저장되고 있다.

디지털 시대에 빅데이터만큼 중요한 자산은 없다. 개인이건 기업이건 경쟁사회에서 살아남기 위해서는 빅데이터를 이용하여 부가가치가 높은 자산으로 만들 필요가 있다. 방대한 규모의 빅데이터를 가치 있고 쓸모 있게 만드는 사람들이 바로 데이터 과학자(data scientist)들이다. 저자가 대학에서 빅데이터 분석에 대해 강의를 하면서 느끼는 고충은 어떤 교재를 가지고 강의할 것인가였다. 대부분의 책들이 빅데이터 분석 방법에 대해 언급하고 있으나 비정형 데이터 혹은 트위터와 같은 소셜 미디어 데이터를 직접 프로그래밍을 통해 다룬 책들은 많지 않았다. 설령 있다 하더라도 어려운 언어 사용으로 인해 구현하는 데 많은 시간이 소비되어 정작 빅데이터의 맛을 제대로 볼 수가 없었다. 이 책은 배우기 쉬운 R 언어를 이용한 데이터 과학자 입문서로서 누구나 따라 하면서 배울 수 있도록 가급적 쉽게 설명하려고 노력하였다.

이 책은 총 10개의 장으로 구성되어 있다. 1장에서는 빅데이터 개요에 대해 소개하고 2장과 3장에서는 텍스트마이닝과 트위터 상에서 텍스트마이닝, 4장과5장에서는 감성분석과 트위터 상에서 감성분석, 6장과 7장에서는 소셜네트워크분석과 트위터 상에서 소셜네트워크 분석, 8장과 9장에서는 텍스트 클러스터링과 트위터 상에서 텍스트 클러스터링에 대해 다루었다. 그리고 10장에서는 리눅스에서 하둡 사용에 대해 다루었고 마지막 부록에서는 개인 PC의 윈도우즈 상에서 리눅스를 설치하는 방법에 대해 다루었다. 책의 예제 및 데이터 파일과 출간 후에 나올 수 있는 수정사항 등은 자유아카데미 홈페이지(www.freeaca.com) 자료실에 제공 예정이다.