구글은 수십만 대 이상의 리눅스 서버를 이용해 전 세계의 모든 웹 데이터를 저장, 분석한 후 검색 서비스를 제공한다. 수십만 대의 서버를 관리하고 운영하려면 엄청난 기술이 필요하다. 수십만 대라면 수원, 성남의 인구수와 비슷한 수치다. 구글은 어떤 기술을 이용해 이런 엄청난 규모의 서버와 데이터를 관리할 수 있을까?

2004년부터 차례대로 구글 내부의 플랫폼 구성을 논문으로 발표하면서 구글의 내부 시스템이 세상에 공개됐다. 대용량 분산 파일 시스템 GFS(Google File System), 분산 병렬 처리 플랫폼(MapReduce), 분산 구조 데이터 저장소Bigtable, 분산 락 서비스(Chubby), 이기종 간 데이터 타입 처리 플랫폼(Protocol Buffer) 등을 차례대로 발표했다. 이모든 기술은 분산 컴퓨팅 분야이며, 대규모 분산 환경을 가장 잘 이용하는 회사라고 할 수 있다.

이와 비슷한 시기에 아마존은 온라인 쇼핑 시스템을 운영하면서 구축한 플랫폼과 서비스를 운영하면서 남는 여유 자원을 활용해 EC2(Elastic Cloud Computing), S3(Simple Storage Service) 등을 포함한 AWS(Amazon Web Services)를 서비스하기 시작한다.

이렇게 분산 기술의 발전과 플랫폼 서비스의 발전은 '클라우드 컴퓨팅'이라는 새로운 개념으로 포장돼 발표됐으며, 최근에는 수많은 기업이 도입하고 서비스를 제공하기 위해 노력 중이다. 나도 2006년부터 분산 컴퓨팅 분야의 업무를 시작하면서 구글 플랫폼의 오픈소스 버전이라고 할 수 있는 하둡(http://hadoop.apache.org)을 사용하고, 하둡 기반으로 운영되는 데이터 관리 시스템인 클라우데이터(Cloudata, www.cloudata.org)를 개발했지만 그 당시에는 이런 기술을 분산 컴퓨팅 분야로만 알고 있었다. 2008년 클라우드 컴퓨팅이라는 용어가 나오면서 내가 사용했던 솔루션, 기술들이 클라우드 컴퓨팅을 구현하는 핵심 기술이 됐다.

클라우드 컴퓨팅이 확산되면서 수많은 컨퍼런스에서 발표가 이뤄지고 수많은 문서가 나왔지만 대부분 클라우드 컴퓨팅에 대한 정의와 활용만 설명한다. SaaS의 경우에도 기업에서 SaaS를 어떻게 도입할 것인가에 대한 주제가 많다. 실제 클라우드 컴퓨팅 플랫폼을 만들거나, SaaS 서비스를 만드는 방법에 대한 문서나 서적은 거의 없다.

클라우드 컴퓨팅이라는 용어는 업무에 따라 다양한 정의가 나올 수 있다. 인프라 측면에서 보면 서버 가상화 기술을 이용하는 형태로 나타난다. 미터링, 과금 등 과 같은 운영 관리적인 부분도 있다. 프로비져닝 같은 시스템 관리 부분도 있다.

하지만 이런 것들은 부가적인 부분이다. 가장 중요한 것은 실제 업무를 수행하고 데이터를 분석하고 사용자 요청에 비즈니스 로직을 수행하는 애플리케이션에 있다. 애플리케이션이 클라우드적인 특성인 확장성, 유연성, 자기 치료 능력 등을 갖고 있을 때 클라우드 컴퓨팅의 진정한 효과가 나타난다. 이 책에서는 개발자들이 애플리케이션이나 클라우드 컴퓨팅을 구성하는 플랫폼을 개발할 때 어떻게 개발해야 클라우드 컴퓨팅의 속성을 가질 수 있는 시스템을 만들 수 있는지 설명한다.

클라우드 컴퓨팅 관련 기술은 하루가 다르게 발전 중이다. 따라서 이 글에서 제시하는 방법이나 솔루션이 최적의 방안이 될 수는 없다. 하지만 분산된 환경에서 유연한 확장성을 제공하는 기본 아키텍처는 견고하며, 과거에는 EJB, CBD, SOA 등의 이름으로 사용됐다. 이 책에서 제시하는 아키텍처도 과거의 기술과 크게 다르지 않다. 다만 구글에서 오픈한 기술을 최대 활용한 오픈소스를 이용함으로써 과거보다는 쉽고 견고한 시스템을 구축할 수 있게 됐다. 이 책은 클라우드 컴퓨팅 구현 기술이라기보다는 오픈소스를 이용해 확장성, 안정성있는 시스템을 구축하는 방법을 설명한다.

1장에서는 클라우드 컴퓨팅의 출현 배경과 클라우드 컴퓨팅의 정의, 개념을 설명한다. 2장에서는 클라우드 컴퓨팅 플랫폼과 이를 기반으로 하는 SaaS 서비스의 아키텍처를 설명한다. SaaS와 클라우드 컴퓨팅은 별개로 생각할 수 있는 개념이지만 구현이나 개발 관점에서는 모두 유사한 기술 요소를 사용하며, 아키텍처 요구사항도 비슷하다. 따라서 2장에서의 설명은 SaaS와 클라우드에 대한 설명이 혼재하는데, 이것은 개발/구현 관점에서는 매우 비슷하기 때문이다.
또한 SaaS 서비스를 만들려면 아키텍처와 프로그램 모델이 어떻게 돼야 하는지와 서비스에서 사용하는 인프라는 어떤 요소가 필요한지 설명한다. SaaS 서비스 구축에 필요한 이런 요소들은 클라우드 컴퓨팅 플랫폼을 구축하는 데도 그대로 적용될 수 있다. 3장에서 설명하는 쓰리프트(thrift)와 4장의 주키퍼(ZooKeeper), 5장의 하둡을 이용하면 분산 데이터 저장소를 만들 수 있다. 분산 데이터 저장소는 클라우드 플랫폼을 구성하슴 주요 컴포넌트 중 하나지만 자체적으로는 데이터를 클라우드 환경에서 서비스해주는 데이터베이스 SaaS 서비스다.

책에서 설명하는 모든 솔루션은 오픈소스다. 오픈소스 중 문서화가 잘돼 있는 것도 있지만 그렇지 않은 경우도 많다. 그리고 오픈소스는 버전업되면서 많은 기능이 바뀌기도 한다. 문서가 없는 것은 소스와 예제를 보거나 다른 블로거의 글을 참고했으므로 잘못된 내용이 있을 수도 있다. 가급적 정확한 내용을 전달하기 위해 노력은 했지만 일부 잘못된 내용이 있을 수 있음을 미리 밝혀둔다. 그리고 버전업돼 기능이 바뀌어도 사용할 수 있게 개념과 동작 원리, 내부 구조 등도 최대한 설명하고자 노력했다.

1장은 클라우드 컴퓨팅의 기본 개념을 설명하는데, 이 부분을 이미 이해하고 있는 독자는 2장부터 시작해도 좋다.

이 책에서 다루지 않는 내용: 클라우드 컴퓨티 관련 기술 중 애플리케이션 개발 관련되지 않은 가상 머신, 네트워크 같은 인프라 기술은 이 책에서 다루지 않는다.

인터넷에서 인용한 글은 최대한 출처를 밝히고자 노력했다. 하지만 다양한 분야의 오픈 소스 솔루션을 소개하다보니 본문에 출처 없이 인용된 글이 있을 수 있다.

그동안 클라우드 컴퓨팅 분야에서 많이 다루지 않았던 시스템이나 서비스의 개발과 관련된 내용을 다룬다. 기존의 클라우드 컴퓨팅이 기술적인 분야에서 가상화, 프로비저닝 등에 초점이 맞춰져 있었다면 이 책에서는 분산 아키텍처를 이용해 확장성, 가용성 있는 시스템, 서비스를 개발하기 위한 아키텍처를 제시하고, 이를 구현할 수 있는 오픈소스를 소개한다. 책에서 소개하는 아키텍처와 오픈소스를 이용해 스토리지 서비스 같은 인프라 서비스에서부터 블로그, 소셜네트워크 분석 서비스 등과 같은 클라우드 서비스를 구축할 수 있다.<br/><br/>★ 이 책에서 다루는 내용 ★<br/><br/>■ 클라우드 컴퓨팅의 출현 배경과 구글, 아마존, 세일즈포스닷컴의 클라우드 컴퓨팅 소개 <br/>■ 클라우드 컴퓨팅의 정의와 분류<br/>■ 확장성, 가용성 있는 클라우드 컴퓨팅 시스템을 구축하기 위한 아키텍처<br/>■ 분산 아키텍처를 적용한 애플리케이션 서버 구축 방법<br/>■ 분산 환경에서의 동기화 제어와 쉽게 해결해 주는 오픈소스 주키퍼(ZooKeeper)<br/>■ 대용량 파일을 저장하고 빠르게 분석할 수 있는 하둡(Hadoop)<br/>■ 대용량 구조화된 데이터를 저장할 수 있는 NoSQL, 오픈소스 클라우데이터(Cloudata), Hbase, 카산드라(Cassandra), 몽고디비(MongoDB)<br/>■ 분산 환경에서의 로그 수집 및 저장을 위한 오픈소스 척와(chukwa), 스크라이브(scribe)<br/>■ 시스템의 성능 향상을 위한 캐시 솔루션인 memcached, 멤베이스(membase)<br/>■ 단원별로 사용된 오픈소스에 대한 설치 방법과 블로그 예제 프로그램을 통한 실제 사용 방법<br/><br/>★ 이 책의 대상 독자 ★<br/><br/>이 책은 클라우드 컴퓨팅을 다루지만 인프라 측면이 아닌 시스템, 서비스의 개발과 관련된 내용을 다룬다. 따라서 분산 아키텍처를 이용한 확장성, 안정성있는 시스템을 구축하려는 개발자들을 위한 책이다. 분산 파일 시스템, NoSQL 등과 같은 클라우드 기반의 시스템 소프트웨어에 대해서도 설명함으로써 대용량 데이터 저장소를 구축하려는 운영자들에게도 도움이 된다.<br/><br/>자바, C 언어 등과 같은 프로그래밍 언어를 이해하고 있거나 시스템을 구축해 본 경험이 있으면 쉽게 이해할 수 있을 것이다.<br/><br/>★ 이 책의 구성 ★<br/><br/>이 책은 두 개의 부로 구성되어 있다. <br/><br/>1부에서는 클라우드 컴퓨팅의 개요와 속성을 설명하며, 클라우드 컴퓨팅의 속성을 만족하는 시스템을 구축하기 위한 아키텍처를 제시한다.<br/><br/>2부에서는 제시된 아키텍처의 세부 구성 요소를 설명하고, 실제 적용을 위해 현재 사용 가능한 오픈소스를 소개한다. 각 분야의 오픈소스는 개념에 대한 이론적인 설명, 설치, 사용 방법, 예제 프로그램 등의 형태로 다뤘다.

Scene 1
오늘은 36살이 얼마 남지 않은 크리스마스 이브다. 한 달 전 소개팅으로 만난 그녀와의 저녁 약속을 생각하니 벌써부터 가슴이 설렌다. 그녀와는 마음도 잘 맞고 관심사도 비슷해 애인 사이로 발전해 내년에는 반드시 결혼했으면 좋겠다. 개발자의 삶을 살면서 여자를 만나 결혼까지 골인한다는 것이 쉽지 않음을 몇 번의 경험을 통해 알고 있기 때문에 그 간절함이 더 크다.
그녀를 만나러 가는 버스 안이다. 현재 시간은 6시 45분. 약속 시간이 7시 30분이라 아직까지 시간적인 여유가 있다. 이때 걸려오는 전화 한 통에 갑자기 불안감이 몰려든다.
……
역시 내 예상은 빗나가지 않았다. 오늘 크리스마스에 맞춰 진행한 이벤트가 대박이 나면서 서버가 다운됐다는 것이다. 서버 재시작을 통해 복구하고 있지만 엄청나게 몰려드는 트래픽을 감당하지 못해 계속 다운되는 상황이 반복 중이라 한다.
근본적인 해결책은 서버를 증설하는 것인데, 서버를 증설하고 재설정하는 데 며칠이 소요되는 상황이라 현재는 이 방법을 택할 수 없다. 딱히 좋은 해결책이 떠오르지 않아 막막할 따름이다.
그나저나 오늘 데이트도 물건너 갔다. "개발자는 일과 삶의 균형을 맞추면서 살수는 없는 것인가?"라고 중얼거리면서 회사로 향하는 버스로 갈아탄다.

Scene 2
개발자로서 거의 10년의 경력을 쌓아왔지만 서비스를 통해 사용자와 호흡을 맞춰 간다는 것이 이렇게 기쁜 일이라는 경험을 처음하고 있다. 스스로 경험을 쌓으면서 날로 개선되는 기능은 사용자가 원하는 기능을 우선적으로 개발하는 선순환 구조를 열어가면서 서비스는 빠른 속도로 성장하고 있다.
임원진들은 지금 시점이 서비스를 한 단계 더 성장시키기 위한 기회로 보고 최근 가장 인기 있는 가수 중 한 명인 '아이유'를 CF 모델로 선정해 대대적인 마케팅을 펼치는 중이다. 이 같은 마케팅 효과 때문에 이전보다 서비스의 성장 속도는 2배 이상 가파르게 증가하고 있다. 서비스가 급격히 성장하는 것은 기쁜 일이지만 한편으로는 현재 시스템이 이 같은 성장 속도를 견뎌낼 수 있을지 걱정스러움이 앞선다. 트래픽이 증가할 때마다 주기적으로 웹 애플리케이션 서버를 증설해 해결하고 있지만 서버를 증설하고 모니터링하는 데 너무 많은 시간을 투자하고 있어 개발 업무에 투자할 수 있는 시간도 줄고, 업무에 대한 만족도도 계속 떨어지고 있다.
……
드디어 올 것이 왔다. 그동안 우려하던 일이 현실에서 발생했다. 트래픽이 증가할 때마다 웹 애플리케이션 서버를 증설했더니 이에 대한 부담이 모두 데이터베이스 서버로 집중되면서 오늘 오후 데이터베이스 서버가 다운됐다. 데이터베이스 서버를 증설하는 일은 애플리케이션에 대한 수정도 필요하기 때문에 웹 애플리케이션 서버를 증설하는 일에 비해 몇 배의 시간이 필요하다. 이 문제를 단기적으로 해결할 수 있는 방법은 기존 데이터베이스 서버보다 사양이 더 좋은 초울트라 슈퍼짱인 서버를 도입하는 길밖에 없기 때문에 막대한 비용을 투자해 서버를 확보하고 서비스를 정상화시킨다. 그나저나 얼마나 버틸 수 있을까?

위 두 상황은 우리 주위에서 흔히 볼 수 있다. 일과 삶에 균형을 맞추는 것이 힘들어 제대로 된 사람으로서의 삶을 살지 못하고 있는 개발자들… 서비스의 급격한 성장에 제대로 대응하지 못해 그저 그런 서비스로 전락해 버린 국내의 많은 사례들… 그 이면에는 빨리빨리 문화로 인해 품질을 보장하지 못하는 것이 하나의 원인이며, 또 한편으로는 급격하게 변화하는 서비스 환경에 시스템 인프라가 발 빠르게 대응하지 못하는 것이 또 하나의 원인이다. 이 책은 이런 문제점에 대한 해결책을 제시해준다. 일과 삶에 균형을 맞추고, 서비스 변화에 발 빠르게 대응하기 위한 방법을 찾고자 한다면 이 책을 통해 새로운 전략을 세울 수 있을 것이다.

박재성 (XLGames 웹 개발자, 자바지기 커뮤니티 운영자)

클라우드 컴퓨팅의 이론부터 구현까지, 사례를 통해 생생하게 느낄 수 있다. 실무담당자라면 이 책에서 유용한 힌트를 얻을 수 있을 것이다.
김민석 (NHN I&S)

메인프레임, 클라이언트/서버를 이어 클라우드 컴퓨팅은 컴퓨팅의 새로운 장을 열고 있다. 항상 새로운 패러다임이 나올 때마다 제각각 부족한 정보와 지식으로 왜곡되고 편협한 재단을 하면서 훼예포폄하고 있다. 그러나 이 책에서는 클라우드의 기본부터 세밀한 구조까지 균형 잡힌 설명을 하고 있다. 클라우드의 사용자, 사업자, 개발자, 학생 등까지 널리 추천할 만하다.
서정식 (KT Cloud 추진본부 본부장)

클라우드 컴퓨팅은 이제 거스를 수 없는 큰 흐름이 됐다. 최근의 클라우드 컴퓨팅이 인프라에 집중하고 있다면 이 책은 그 다음을 준비하는 내용을 담고 있다. 가상의 인프라 환경에서는 그 위에서 운영되는 소프트웨어도 가상 환경으로 운영될 수 있는 아키텍처로 구현돼야 한다. 이 책에서는 어떻게 그런 소프트웨어나 서비스를 만들 수 있는지 알려준다. 지금까지 클라우드 컴퓨팅에 관한 기술 서적이 제대로 없었는데, 이 책이 하나의 획을 그을 수 있지 않을까 생각한다.
성기준 (SKC&C 클라우드컴퓨팅 사업본부 본부장)

이 책은 모호하게만 들리던 클라우드가 무엇인지 아주 쉽고 명확하게 알려준다. 또한 대용량 시스템을 오랜 시간 경험해온 저자들답게 IT 환경에서 항상 고민해 온 각종 자원 관리에 대한 수많은 고민을 매우 수준 높은 시각에서 실질적인 해결책을 제시한다. 클라우드가 무엇인지, 또 시스템의 효율적인 관리를 고민해온 개발자나 운영자라면 반드시 읽어볼 것을 권한다.
이정룡 (삼성SDS 인트라넷혁신그룹)

클라우드 컴퓨팅을 취재하면서 곳곳에 포진한, 열정을 가진 전문가들을 만날 수 있었다. 그것이 가장 좋았다. 장님이 코끼리 뒷다리 만지듯 헤매고 있었을 때 이들은 내게 클라우드가 무엇인지, 그리고 지금 우리에게 필요한 것과 채워야 할 것 등을 아무런 대가 없이 흔쾌히 가르쳐줬다. 새로운 흐름을 파악하고 구현하기란 생각처럼 쉬운 일이 아니다. 끊임없는 문제 해결에 대한 호기심과 열정, 도전이 필요하다. 이 책을 쓴 이들은 한결같이 이런 공통점이 있는 것 같다. 그런 호기심들을 통해 경험하고 쌓은 지식들이 새로운 열정을 가진 이들에게 고스란히 전파될 것이다. 이 책은 충분히 그런 열정과 경험들을 전달하고도 남음이 있다. 지식과 경험을 공유하면 상상할 수 없는 일들이 일어난다. 클라우드 컴퓨팅은 그런 지식의 공유에서 온 커다란 선물일지도 모르겠다. 쉽지 않지만 이 책은 그 선물에 한 발짝 다가서서 제대로 흐름을 읽고, 구현되는 기술을 알 수 있도록 조언해준다. 여전히 모자란 기자에게도 한걸음 더 내딛게 도와주는 도우미 역할을 해줄 것 같다. 혹시 이 책을 보고 열심히 구현했는데 도통 세상에 알려지질 않아 열 받으시는 분들은 언제든지 @eyeball에게 연락 주시기 바란다. 물론 자신들의 경험을 흔쾌히 세상에 공개해준 필진들을 먼저 다룬 다음 서둘러 찾아갈 것이다. 뜬구름들 속에서 가을 하늘에 떠 있는 뭉게구름을 만들고 싶은 이들이 있다면 이 책을 적극 권한다.
도안구 (블로터닷넷 기자)

클라우드 컴퓨팅에 대해 강연이나 컨설팅을 하다 보면 듣게 되는 가장 큰 오해가 클라우드 컴퓨팅을 사용하면 애플리케이션이나 서비스가 무조건 확장성 있고 견고하게 된다는 것입니다. 하지만 클라우드라는 것은 그러한 것을 가능케 하는 인프라를 제공해 줄 뿐, 나머지는 모두 사용자의 몫입니다. 결국 애플리케이션이나 서비스 역시 '클라우드화'가 돼야 비로소 클라우드의 이점을 십분 발휘할 수 있습니다.

해외에서는 구글, 페이스북, 야후 등이 그러한 클라우드화된 서비스 구조로 돼 있고, 이를 위해 다양한 오픈소스 소프트웨어를 활용하며, 직접 개발해 다시 오픈하고 있습니다. 하지만 국내에서는 그러한 경험이 거의 없고 학습을 위한 자료도 매우 부족한 상황입니다. 이런 국내 현실에서 이 책은 클라우드 마을에 내린 가뭄의 단비 같은 책이라고 평가합니다.

이 책에서 소개된 다양한 오픈소스 소프트웨어는 실제로도 클라우드를 구축하는 데 활용 중이며, 구글, 페이스북 등의 선도 기업에서 핵심 기술로 사용 중입니다. 또한 도입부에서 설명한 IT 아키텍처의 변화는 저자가 오랜 기간 직접 경험하면서 얻은 통찰력을 공유하는 매우 소중한 정보입니다. 현재 클라우드 기술 관련 국내외 서적을 통틀어 이 책만큼 다양하고 중요한 오픈소스를 심도 있게 다루고 있는 책은 없다고 단언합니다.

클라우드를 직접 구축하려는 분, 클라우드를 이용하려는 분, 클라우드 관련 사업을 기획하는 분,클라우드 관련해 연구하시는 분, 클라우드 기술에 관심 있는 분, IT 기술의 미래를 내다보고 싶은 모든 분께 이 책을 권합니다.
한재선 (넥스알 대표이사, 한국 Hadoop 커뮤니티 회장, KAIST 정보미디어 경영대학원 겸직교수)