2018년 첫저술작인 『카프카, 데이터플랫폼의최강자』를 출간한 이래 어느덧 만 3년이 지난 2021년 가을 현재,그때에 비하면 오늘날 카프카는 기업의 부가가치를 높이는 핵심 인프라스트럭처로서 인지도와 위상이 매우 높아졌을 뿐만 아니라,카프카를 채택한 여러 기업 사례에 대한 소식이 여기저기서 들려오고 있습니다.그리고 온프레미스뿐만 아니라 클라우드를 이용해 다양한 서비스를 제공하는 많은 기업이 카프카를 도입해 가시적 성과를 보여주고 있습니다.하지만 카프카 에코시스템에 참여하고 싶은 기업들이 참고할 만한 자료나 도서는 여전히 부족한 것이 현실입니다.이에 저는 첫 책 출간 이후에 그간 현업에서 쌓아온 다양한 실무 경험을 녹여내고 좀 더 다양해진 기술 양상을 반영할 수 있는 또 한 권의 새로운 카프카 책을 집필함으로써, 카프카를 도입해 최적화하는 과정에서 많은 공과 노력을 쏟고 있는 여러운영자와 개발자,아키텍트 여러분께 미약하나마 등불을 밝혀주는 소임을 완성하고 싶었습니다.
이 책에서는 전작을 확장하는 개념으로,카프카의 내부 구조와 동작 원리,그리고 실제 현업에서 맞닥뜨리는 문제인 설치,운영,유지보수,확장,안정성 강화,업그레이드까지 카프카에 대한 거의 모든 것을 정리했습니다.가장 일선에서 카프카를 도입하고 사용해온 운영자로서 독자 여러분께 드리는 종합선물세트라고 할 수있습니다.초보자분들이 『카프카, 데이터플랫폼의최강자』 책에서 기초적인 개념을 익히고 나서이번 『실전 카프카 개발부터 운영까지』 책에서는 좀 더 심도 깊은 운영과새로운 핵심 요소들을 숙지하신다면, 현업에서 카프카를 운영하는 데 필요한 이론과 실전 노하우를 완벽히 갖추실 수 있으리라 생각합니다.물론 중급자들이 알아야 할 다양한 팁과 지식도 많이 담고자 노력했습니다.모쪼록 많은 분이 이 책을 통해 카프카를 좀 더 쉽게 이해하고 효율적으로 잘 활용할 수 있길 바랍니다.
수년 전부터 카카오에서는 각 서비스 부서별로 카프카를 데이터 파이프라인으로 사용하기 시작했습니다. 그러던 중 제가 속한 인프라팀에도 특정 서비스용 카프카 운영 제안이 들어왔고, '운명적으로' 순순히 제안을 수락한 저는 본격적으로 카프카 연구와 독학을 시작했습니다. 하지만 당시 인터넷 검색으로 찾을 수 있는 내용은 너무나 단순한 것들뿐이었고 대부분은 설치 과정이나 퀵스타트 가이드뿐이었습니다. 그렇게 카프카를 직접 하나씩 알아가며 실무에 적용하다 보니 고성능 카프카의 매력에 흠뻑 빠지게 되었습니다. 단순하게 팀 내에서만 카프카를 운영할 게 아니라, 사내에 부서별로 분산된 카프카를 통합하는 '전사 공용 카프카' 서비스를 운영하면 어떨까 하는 생각이 문득 들었고, 여러 주위 분들의 지원과 격려 속에 곧 실행에 옮겼습니다.
그렇게 혼자 카프카를 공부하고 현업에서 운영하면서 쌓아온 지식과 경험을 다른 개발자들과 함께 공유하면 좋을 것 같다는 생각이 들던 차에 동료의 추천으로 지식 공유 사이트인 팝잇(popit.kr)에 카프카 연재 글을 기고하게 되었고 이렇게 한 권의 책까지 쓰게 되었습니다.