머리말

빅데이터와 인공지능 기술의 비약적인 발전으로 우리가 꿈처럼 생각했던 일들 이 현실이 되고 있는 가운데 빅데이터를 기술적인 관점으로, 원점에서부터 다시 바 라보아야겠다는 생각이 들었다. 수많은 디지털 기기가 인터넷에 연결되어 데이터 가 생성되고 축적되어 이를 효과적으로 활용하는 기업만이 비즈니스의 세계에서 강자로 군림하고 있는 이때, 빅데이터를 공부할 수 있는 체계적인 교재가 없는 것 이 매우 안타깝게 생각되었다.

디지털 기술을 떠나 인류학적 측면에서 인간과 문명을 바라보면 기록과 학습에 서부터가 이 모든 것의 시작이 되었다고 생각한다. 데이터는 인문, 예술, 과학, 기 술, 사회 등 다양한 부분을 포괄적으로 포함하고 있는 인류의 삶 그 자체라고 해도 과언이 아닐 것이다.

단언컨대 데이터는 과거에도 있었고, 현재도 있으며 미래에도 있을 것이다. 하 지만 우리는 데이터의 실체를 이해하고는 있지만 시간이 지나면서 어떻게 변화될 지는 현재로서는 아무도 모른다고 얘기하고 싶다. 데이터는 예술의 영역일 수도 있 고 인문의 영역일 수도 있고 과학과 기술의 영역일 수도 있으며, 이 부분이 구체화 된 논리적, 물리적인 영역일 수도 있다. 이것이 의미하는 바를 이해한다는 것은 어 려운 부분이며 그 이유는 논리적, 물리적인 부분에서 예술과 인문 그리고 우리가 알고 있고 발전시켜 나간 그 모든 것이 미래의 데이터일 수도 있기 때문이다.

사실은 우리가 알고 있는 데이터는 극히 작은 부분만을 알고 있으며, 이 데이터 가 의미하는 속성은 무엇이고 무엇을 지향하고 있는지는 최종적으로 독자 여러분 께 맡기려고 한다. 결론적으로 본서를 읽는 동안 독자 여러분의 상상력을 넣어서 새로운 기술을 만들어 나가는 데 조금이나마 도움이 되었으면 한다.

본서는 총 8개의 PART로 구성되며 PART 01은 서론에 해당되고 데이터에 대한 이해에서부터 시작된다. PART 02~05는 데이터를 처리하는 기반 기술에서 하둡을 중심으로 한 에코 소프트웨어에 대한 기술을 심도 있게 소개하고 있다. 이후 PART 06~PART 08은 분석을 중심으로 한 인공지능 기술, 빅데이터 플랫폼의 운영과 함께 빅데이터 플랫폼을 이루는 원천 기반 기술에 대해서 다루고 있다. 우리가 익숙했던 정보기술은 데이터를 중심으로 한 학습으로 인간의 뇌를 모방한 방식으로 진화하고 있다. 기록과 학습이라는 행위로 파생되는 빅데이터와 인공지능 기술의 발전은 어디까지일지 아무도 모르지만 인간의 삶을 풍요롭게 만들어 주는 토양이 될 것이라는 것을 믿는다. 따라서 데이터와 그를 처리하는 기술을 이해하고 우리의 경험을 융합하여 인간이 풍요로운 삶을 영위할 수 있는 새로운 창조적 아이디어가 탄생하는 데 본서가 조금이라도 도움이 되었으면 하는 마음이 간절하다.

본서는 컴퓨터 과학이나 인공지능을 전공하는 학부 및 대학원생뿐만 아니라 빅데이터와 인공지능에 관심이 있는 모든 독자를 대상으로 하고 있다. 낯설고 어렵게만 느껴지는 빅데이터의 제반 기술들이 쉽고 재미있게 다가갈 수 있기를 기대해 본다. 끝으로 본서가 나올 수 있도록 많은 관심을 주신 숭실대학교 정보과학대학원원생 여러분, 고려대학교 융합데이터과학대학원 박재성 선생님, 그리고 님버스테크 김길래 고문님, 박영사 대표님 그리고 임직원 여러분께 깊은 감사를 드린다.

2024년 8월
저자 문영상, 홍성문, 윤형만