│ 이 책에서 다루는 내용 │

ㆍ 핵심 카프카 커넥트 구성요소를 결합해 회복 탄력성이 있고 효율적인 데이터 파이프라인 설계
ㆍ 기존 커넥터를 활용한 데이터베이스 변경사항 캡처, 데이터 레이크 구축, 카프카 클러스터 미러링
ㆍ 상용 환경에서의 카프카 커넥트 클러스터 배포, 구성, 운영
ㆍ 로그와 지표를 사용한 카프카 커넥트 클러스터의 지속적인 모니터링
ㆍ 쿠버네티스에서의 카프카 커넥트 클러스터 실행
ㆍ 자체 커넥터와 플러그인 작성

│ 이 책의 독자 대상 │

카프카 커넥트 환경과 상호작용하는 데이터 엔지니어, 사이트 신뢰성 엔지니어, 개발자

│ 이 책의 구성 │

1부는 카프카와 카프카 커넥트 전반에 대한 소개 내용을 다루며, 주로 카프카 커넥트를 처음 접하거나 막 시작하는 엔지니어를 대상으로 한다.

2부는 카프카 커넥트를 사용해 데이터 파이프라인을 구축하는 방법을 설명하며, 특히 데이터 엔지니어와 관련이 있다. 3장과 4장에서는 핵심 카프카 커넥트 구성요소를 논의하고, 이들을 결합해 견고하고 효율적인 데이터 파이프라인을 설계하는 방법을 설명한다. 2부의 나머지 장에서는 가장 인기 있는 커넥터들을 자세히 살펴본다. 5장에서는 커뮤니티에서 제공하는 세 가지 커넥터인 컨플루언트 S3(Confluent S3) 싱크, 컨플루언트 JDBC(Confluent JDBC) 소스, 데비지움(Debezium) MySQL 소스를 다룬다. 6장에서는 카프카의 미러링 도구인 미러메이커(MirrorMaker)가 어떻게 작동하는지 자세히 설명한다. 여기에는 소스, 체크포인트, 하트비트 커넥터의 기능과 구성에 대한 내용이 포함된다.

3부는 카프카 커넥트 운영 측면에 초점을 맞추며, 사이트 신뢰성 엔지니어를 대상으로 한다. 7장에서는 상용 환경에서 카프카 커넥트 클러스터를 배포하고 운영하는 방법을 보여준다. 8장에서는 카프카 커넥트가 제공하는 모든 구성 설정을 다루고, 이를 조정하는 방법과 시점을 결정하는 데 도움이 되는 배경과 맥락을 제공한다. 9장은 로그와 지표를 사용해 카프카 커넥트 클러스터를 지속적으로 모니터링하는 방법을 설명한다. 마지막으로 10장에서는 쿠버네티스(Kubernetes)에서 카프카 커넥트 클러스터를 실행하기 위해 필요한 핵심 고려사항을 논의한다. 여기에는 쿠버네티스에 대한 전반적인 소개와 이러한 유형의 인프라에 카프카 커넥트를 배포하는 데 사용할 수 있는 옵션에 대한 설명이 포함된다.

4부는 카프카 커넥트를 위한 커스텀 커넥터와 플러그인을 구현하는 방법을 설명하며, API에 대해 자세히 다루므로, 자신의 사용 사례에 맞게 카프카 커넥트를 커스터마이즈하려는 개발자를 대상으로 한다.

[지은이의 말]

카프카 커넥트는 신뢰할 수 있고 확장 가능한 데이터 파이프라인을 구축하는 데 있어 훌륭한 도구다. 카프카 커넥트는 인기 있는 아파치 카프카 스트리밍 플랫폼의 일부이며, 브로커, 클라이언트, 카프카 스트림즈(Kafka Streams)만큼 많은 주목을 받지 못할 수도 있지만, 알아두어야 할 도구다. 카프카 커넥트를 통해 카프카 클러스터와 데이터를 주고받을 수 있으며, 클러스터 간에 데이터를 미러링할 수도 있다. 플러그인 방식의 설계 덕분에 단 한 줄의 코드도 작성하지 않고 강력한 파이프라인을 구축할 수 있다.

콘퍼런스에서 발표를 하거나, 블로그 글을 쓰는 것이든, 그저 카프카 애호가들에게 도움을 주는 것이든 우리 두 명은 모두 지식 공유에 열정이 있다. 그 결과 우리는 카프카와 카프카 커넥트에 대해 전 세계의 사용자 및 개발자와 많은 대화를 나누었다. 카프카는 엄청나게 인기 있는 기술이기 때문에 책, 블로그 글, 튜토리얼 등 훌륭한 자료들이 많이 있다. 이들 중 많은 자료가 카프카 커넥트를 다루고 있지만, 다양한 사용 사례, 구성, 운영 절차를 깊이 있게 다룬 자료는 부족하다고 느꼈다. 기본적인 지식만 알고 있어도 카프카 커넥트를 시작할 수 있지만, 그 유연성과 다양한 기능을 고려하면 작동 방식을 깊이 이해하는 것이 정말 큰 차이를 만들 수 있다.

우리는 카프카 커넥트에 관해 기초적인 내용을 넘어서는 많은 콘퍼런스 발표를 했지만, 40분 세션에 담을 수 있는 내용에는 한계가 있다. 이 책을 쓰면서 지난 몇 년간 공유했던 카프카 커넥트에 관한 모든 지식과 아울러 콘퍼런스 세션이나 블로그 글에 담을 수 없었던 모든 내용을 한데 모았다. 여기에는 카프카 커넥트를 운영하며 겪은 우리만의 개별적인 경험과 고객들에게 도움을 주고 조언하며 얻은 통찰이 포함되어 있다. 또한 카프카 커넥트의 작동방식을 철저히 설명하기 위해 모든 설정, 지표, API를 자세히 살펴보는 시간을 가졌다. 이 과정에서 종종 커스텀 플러그인을 작성해서 코드 경로를 테스트하고, 코드를 꼼꼼히 분석하며, 다른 카프카 기여자들과 논의하기도 했다.

이 책은 독자의 사용 사례에 맞춰 신뢰할 수 있는 데이터 파이프라인을 구축하고 상용 환경에서 실행하는 데 필요한 모든 지식을 제공할 것이다.

[옮긴이의 말]

카프카 커넥트는 단순한 데이터 애플리케이션이 아니라, 엔터프라이즈 환경에서 데이터 파이프라인을 효율적으로 구축하고 확장할 수 있도록 설계된 강력한 분산 시스템입니다. 기존의 개별적인 데이터 통합 방식이 가진 복잡성과 신뢰성 문제를 해결하며, 실시간 스트리밍 환경에서 안정적인 데이터 흐름을 보장하는 핵심 기술입니다.

이 책을 번역하면서 카프카 커넥트의 내부 동작 원리와 다양한 운영 기법을 깊이 있게 다루고 있음을 느꼈습니다. 특히 이 책은 실무에서 자주 접하는 문제와 이를 해결하는 방안을 상세히 설명하고 있어 독자들에게 실질적인 도움이 될 것이라 확신합니다.
- 고승범

데이터 레이크를 운영하다 보면 다양한 데이터 파이프라인을 설계하고 개발할 일이 많아집니다. 더욱이 원천 시스템의 종류가 다양하고 실시간 데이터가 요구될 때는 특히 더 카프카 커넥트 사용을 고려하는 편이 좋습니다. 이 책은 카프카 커넥트 구성요소들에 대한 자세한 설명과 클러스터 관리와 운영 측면에서의 팁들을 담고 있습니다. 카프카를 사용해 봤던 대다수의 개발자라면 큰 무리 없이 카프카 커넥트를 사용할 수 있을 테지만, 이 책을 완독한 독자들은 카프카와 카프카 커넥트에 대한 역할의 차이를 명확히 구분하게 될 것입니다. 따라서 레거시 ETL 시스템을 카프카 생태계 속에서 확장성을 고려한 실시간 ETL 시스템으로 변경/구축하고 싶으신 분은 꼭 읽어보시기를 권장하고 싶습니다.
- 이상헌

스타트업에서 데이터 엔지니어로 일하다 보면, 종종 혼자서 전체 데이터 파이프라인을 책임져야 할 때가 많습니다. 게다가 수행해야 할 업무가 무수히 많기에, 애플리케이션을 처음부터 직접 개발하는 일은 큰 부담으로 다가옵니다. 이러한 상황에서 카프카 커넥트를 활용하면, 데이터 파이프라인을 좀 더 빠르고 효율적으로 구축할 수 있습니다. 그러나 처음 카프카 커넥트를 접하면 오히려 복잡해 보일 수도 있습니다.

이 책은 운영에 필요한 핵심 요소들을 체계적으로 설명하여, 초심자라 해도 많은 시행착오를 줄이고 카프카 커넥트를 안정적으로 다룰 수 있게 도와줍니다. 물론 단순한 사용법은 여러 자료를 통해 접할 수 있지만, 카프카 커넥트의 수명주기를 깊이 이해한다면 더욱 복잡한 문제도 해결할 수 있습니다. 오픈소스로 제공되는 다양한 커넥터들이 존재하지만, 모든 상황에 완벽히 부합하는 것은 아니기에 때로는 직접 커스텀 카프카 커넥터 구축에 대한 필요성을 느낄 때가 있습니다. 이 책은 카프카 커넥트 수명주기 이해에 대한 부담감을 덜어주고, 커스텀 커넥터를 개발하고 운영하는 데 필요한 실질적인 가이드를 제공합니다.

저 역시 새로운 요구사항에 맞춰 커스텀 카프카 커넥터를 구축해야 했고, 이 책을 번역하는 과정에서 얻은 지식을 바탕으로 직접 개발과 운영을 진행할 수 있었습니다. 카프카 커넥트가 모든 상황에 적합한 은탄환이 될 수는 없지만, 데이터 엔지니어링에서 광범위하게 활용될 수 있다는 점에는 의심의 여지가 없습니다. 저와 같은 현업 사용자에게 이 책이 문제 해결을 위한 실마리를 찾는 데 든든한 길잡이가 되기를 바랍니다.
- 황한희