대규모 트래픽을 안정적으로 유지하는 방법...‘넷플릭스의 클라우드 엔지니어링’ 출간
- 전 세계 1억명 사용자의 트래픽...넷플릭스의 기술을 파헤친다
- 빠른 업데이트와 높은 안정성을 이루는 클라우드 기반의 제로다운타임에 대한 통찰

최근 코로나19로 인해 온라인 방식의 비대면 시스템에 대한 관심이 증가하고 있는 가운데, 세계 최대 온라인 스트리밍 서비스 넷플릭스의 기술을 소개하는 ‘넷플릭스의 클라우드 엔지니어링’이란 책이 출간됐다.

실제로 전 세계적으로 1억명이 넘는 사용자를 보유하고 있는 넷플릭스는 주말 기준으로 미국 전체 트래픽 점유율의 1/3을 차지할 정도로 방대한 양의 트래픽을 문제없이 처리하며 기술력을 인정받고 있다.

이번에 출간된 〈넷플릭스의 클라우드 엔지니어링〉은 언제든 사용자가 원할 때 시청이 가능한 영상 스트리밍 서비스를 어떤 상황에서도 유연하게 운용하고 있는 넷플릭스가 안정적인 서비스 구현을 위해 어떤 기술과 도구들을 활용하고 있는지에 대한 소개와 함께 효율적으로 실제 서비스를 구현할 수 있는 방법까지 알아본다.

또한 클라우드, 마이크로서비스, 애자일, 데브옵스 등 디지털 트랜스포메이션과 관련된 개념들이 상호 유기적으로 어떻게 작용하는지 설명함으로써 클라우드 기반 서비스의 큰 흐름에 대해 이해할 수 있게 도와준다.

특히 이 책은 클라우드와 디지털 트랜스포메이션 영역에 다년간 일하고, 직접 고객들과 만나며 느끼고 배운 저자의 노하우를 담아낸 만큼, 기술적인 부분만이 아닌 회사의 조직과 문화, 전략이 어떻게 바뀌어야 하는지, 문제에는 어떻게 접근해야 하는지도 경험할 수 있도록 구성되어 있다.

이를 통해 마이크로서비스, 스프링 부트, 스프링 클라우드 등과 같은 기술들과 클라우드 네이티브라 불리는 것들을 어떻게 서비스에 반영할 수 있을지에 대한 큰 그림을 얻을 수 있으며, 가볍게 읽어 내려가며 현재 개발하고 있는, 또는 운용하고 있는 서비스에 대한 힌트를 얻는 용도로 사용할 수 있도록 꾸며졌다.

시스템과 소프트웨어가 모든 사업의 근간을 이루고 있는 요즘시대, 시스템의 빠른 업데이트와 높은 안정성을 이루는 클라우드 기반의 기술에 대한 궁금한 점을 넷플릭스라는 성공적인 예시를 통해 가늠해 볼 수 있는 책으로 주목된다.

-
우리가 사는 지금의 시대는 사람들이 2000년대 초반의 PC보다 훨씬 좋은 성능의 컴퓨팅을, 매일 매일 다양한 모바일 기계들을 통해 소비하며 살아가고 있다. 모든 이의 주머니 속에 슈퍼컴퓨터가 있는 셈이다. 사람들은 이 장치를 통해 대화하고, 거래하고, 음악이나 영상을 소비하며 삶의 기쁨과 슬픔, 그리고 편의를 누리고 있다. 이 다양한 삶의 희로애락과 편의가 뭉쳐져 있는 각 개인의 모바일 장치를 통해 사업을 진행하는 것이 이제 매우 일반적이다. 무슨 사업을 생각하더라도 IT를 떼고 생각할 수 없다는 말이다. 이것은 분명 90년대 말, 2000년대와는 확연히 다른 시대적 상황이다.

사업의 생명주기에 이 사업을 구현한 소프트웨어가 함께한다. 소프트웨어의 생명주기가 곧 사업의 생명주기다. 따라서 소프트웨어는 사업을 충실히 반영해야 할 필요가 있으며 이것을 잘하는 기업과 잘하지 못하는 기업의 격차는 전례 없이 크다.

FAANG으로 압축되는 페이스북(Facebook), 아마존(Amazon), 애플(Apple), 넷플릭스(Netflix), 구글(Google)과 같은 회사들은 각자의 분야에서 2위 사업자들과 굉장한 격차를 보이며, 도무지 따라잡을 수 있을 것 같지 않다. 이런 회사들뿐만 아니라 인스타그램이나 에어비엔비, 우버, 리프트, 그랩, 틱톡 등 신규로 사업을 시작한 업체들도 폭발적으로 인기를 얻어 역시 해당 부분의 가장 강력한 사업자로 이름을 날리고 있기도 하다. 이들의 공통점은 바로 ‘기술 회사’라는 점이다. 그냥 기술이 아니라 소프트웨어와 데이터를 매우 잘 다루는 회사라는 것이다.

이들은 먼저 사업의 목표를 선명하게 하고, 이를 고객의 요구에 맞추어 점진적으로 개선하되 서비스의 중단이 없으며, 서비스를 통해 발생한 피드백을 통해 고객 스스로도 몰랐던 요구를 만들어 제공하는 기술을 가진 회사들이다. 운이 좋았던 것인지 나빴던 것인지 저자는 다양한 회사의 초창기에 엔지니어로서 참여했다. 이를테면 카페24로 알려진 심플렉스 인터넷이나 국산 원격제어 애플리케이션으로 잘 알려진 알서포트, 아마존웹서비스와 피보탈에 이르기까지 매우 작은 규모에서 시작해 결국 상장에 이르렀던 회사들의 초반을 함께해 왔다.

중반 이후 더 큰 규모가 되기까지 함께하지는 못했지만, 다녔던 회사들이 상장이라는 거대한 성공을 거둔다는 것은 분명 행복한 일이다. 이들 회사에서 엔지니어로서, 때로는 시스템 개발자로, 때로는 아키텍트로, 때로는 소프트웨어 엔지니어로 근무하는 동안 세상은 데이터센터에서 클라우드로 이전했고 대부분 사업의 핵심 역량은 IT로 전이 되었다.

2010년 이전에 어렵게 해결했던 문제들은 2010년 이후에 고민할 필요도 없는 것들이 되었다.
오늘날 많은 문제가 그러하다. “undifferentiated heavy lifting”이라는 말은 사업이 기술에 반영될 때 더욱 가치를 발한다. 사실 우리는 이미 누군가가 이루어 놓은 것들을 사용해 더 나은 것을 만들 수 있는 세상에 살고 있다. 예를 들어 리눅스 커널이나 컴퓨터에 그저 연결하기만 하면 동작하는 수많은 하드웨어, 라이브러리, 프레임워크, 언어 등은 기술의 선구자들에 의해 이미 존재하고 만들어져 있어 가져다 사용하기만 하면 되는 것들이다. 아파치 웹 서버가 없었다면, 아니 지금 당장 대다수의 서버 시스템에서 glibc가 없다면 어떤 일이 벌어질 것인지는 상상하기조차 어렵다.

더 쉬운 예로 만약 자바(JAVA)라는 언어가 없는 상태에서 신규로 웹서비스를 만든다면 어떨까. CGI부터 구현해야 할지도 모르겠다. 소프트웨어 엔지니어링 분야에서 존재하는 기술들을 사용해서 새로운 서비스를 만드는 것은 매우 익숙한 것이라고 볼 수 있다. 이 책에서 이런 익숙한 부분을 ‘클라우드’라는 환경을 통해 소개하고 싶었다. 즉, 누군가 뛰어나게 잘하고 있는 것들을 가져다가, 또는 그 콘셉트를 차용해서 바닥부터 새로 만드는 것이 아니라 빠르고 안전하게 사업을 반영하는 서비스를 만들어 내는 방법을 소개하고자 했다. 다년간의 방황 끝에 이 책에 주로 넷플릭스의 기술에 대한 이야기, 그리고 아마존과 피보탈에서의 경험을 바탕으로 한 이야기를 싣는 것이 좋겠다는 생각이 들었다. 따라서 책에는 이 회사들에 대한 이야기가 저자의 주관적 견해와 함께 소개된다. 소개되는 내용들에는 아마 익숙한 것들도 있을 것이고 아닌 것들도 있을 것이다.

2015년부터 마이크로서비스와 스프링 부트, 스프링 클라우드에 대해 소개하고 싶었지만 지금에는 더 좋은 설명으로 무장한 책들이 시장에 많이 소개되고 있다.

따라서 이 책의 활용 방법은 이런 기술들이 클라우드 네이티브라 불리는 것에 사용되고 있고 그것을 어떻게 하면 우리 서비스에 반영할 수 있을 것인가에 대한 큰 그림을 얻는 데 있다. 이는 비단 기술에 관한 것 뿐 아니라 조직과 문화에 대한 부분이 함께 필요한 것이므로 아마 종전의 많은 조직에서 그대로 수용하기에는 어려움이 있을지도 모르겠다.

아마존의 최고 경영자인 제프 베조스는 어느 인터뷰에서 이런 말을 했다. 자신은 복권에 당첨된 사람이고, 그 복권에 당첨될 수 있었던 것은 인터넷이라는 기술이 이미 세상에 있었기 때문이라고 했다. 이미 존재하는 생태계의 기술을 사용해 사업을 진행한 것이 본인에게 커다란 성공을 가져다주었다고 한다. 그래서 그는 그렇게 얻은 부를 다시 우주에 투자해서 인터넷과 같은 생태계를 만들고자 한단다.

현재 누구나 사업을 시작하고자 한다면 인터넷을 통해 그리고 이미 만들어진 수많은 오픈소스나 상용 도구들을 통해 낮은 진입 장벽으로 시작할 수 있었던 것처럼, 다음 세대들이 누구나 우주를 대상으로 낮은 비용을 통해 사업을 진행하게 하는 것이 꿈이며, 그런 세상이 도래하는 것을 본인 생애 안에서 보고 싶다고 한다.

이런 사상이 아마존웹서비스 탄생의 배경이라고도 볼 수 있겠다. 왜 많은 사람들은 사업을 시작할 때 높은 비용으로 서버를 구매하고, 네트워크를 구매하고, 소프트웨어를 구매해야 하는가. 이에 대한 대답이 아마존웹 서비스였으며, 이는 이제 수많은 사업자에게 없어서는 안 될 도구가 되었다.
이처럼 우리는 누군가 만들어 놓은 것들을 활용하고, 해결하기 어려운 문제들에 대한 힌트를 얻는 방법을 생각해야 할 필요가 있다. 새로운 것을 실험한 결과 이어진 실패를 통한 배움은 조직의 엔지니어링을 건강하게 만들 것이다. 따라서 이런 종류의 실패는 적극적으로 권장해야 할 필요가 있으며, 시스템적으로 다시 발생하지 않도록 하는 것이 바로 경험일 것이다.

모든 내용을 소개할 수는 없어 경험상 중요하다고 생각되는 내용을 우선으로 책에 담고자 했다. 이 책은 정독해서 하나씩 따라 해보기 같은 책이라기보다는, 가볍게 읽어 내려가며 현재 개발하고 있는, 또는 운용하고 있는 서비스에 대한 힌트를 얻는 용도로 사용하면 좋겠다.

마지막으로 이 분야에 종사하는 누구라도 오픈소스 생태계를 건너뛰고 많은 사용자의 모바일에서 동작하는 사업을 구현할 수 없다는 점을 강조하고 싶다. 오늘 한 번이라도 인터넷에 접근했다면 여러분은 누군가가 시간과 노력을 들여 만든 코드, 그리고 세상을 널리 이롭게 하기 위해 기꺼이 제공된 코드의 혜택을 받고 있음을 언급하고 싶다. 따라서 매번 비용을 지불하고 사용할 수는 없겠지만, 오픈소스가 곧 공짜라는 생각을 가지는 대신 오픈소스를 통해 다시 세상에 쓸모 있는 무언가를 만들 수 있다는 데에 조금이라도 감사한 마음을 가지면 어떨까