주요 개념

카카오클라우드의 Advanced Managed Kafka는 Apache Kafka를 완전 관리형으로 제공하여 실시간 데이터 스트리밍과 이벤트 처리를 안정적으로 지원하는 클라우드 플랫폼 서비스입니다.
Advanced Managed Kafka 서비스의 주요 개념은 다음과 같습니다.

클러스터

클러스터는 하나 이상의 브로커로 구성된 집합입니다. 클러스터가 고가용성을 유지하면서도 단일 클러스터 내에서 데이터 스트리밍 작업을 수행할 수 있도록 하나 이상의 가용 영역에 클러스터를 구성하는 것을 권장합니다. 클러스터 운영 중에 클러스터를 확장하여 데이터 처리 성능을 높이거나 클러스터의 세부 설정을 자유롭게 변경할 수 있습니다.

클러스터 수명주기 및 상태

클러스터 수명주기

상태	설명
Starting	클러스터 생성 요청 중 - 클러스터 생성 요청 시 각 브로커 Starting 상태
Creating	클러스터 생성 중 - 클러스터 생성 중일 시 브로커가 순차적으로 Creating 상태
Active	클러스터 실행 중 - 모든 브로커가 Active 상태임을 의미
Updating	클러스터 세부 설정 변경 중 - 클러스터 세부 설정 변경 시 브로커가 순차적으로 Updating 상태
Rebooting	클러스터 세부 설정 완료 후 재기동 중 - 재기동 시 브로커가 순차적으로 Rebooting 상태
Extending	볼륨 확장 중 - 볼륨 확장 시 브로커가 순차적으로 Extending 상태
Expanding	클러스터 확장 중 - 클러스터 확장 시 브로커가 순차적으로 Expanding 상태
Deleting	클러스터 삭제 중 - 클러스터 삭제 시 브로커가 순차적으로 Deleting 상태
Error (some brokers)	일부 브로커가 Error 상태지만 클러스터 실행 중
Error (all brokers)	전체 브로커 Error 상태로 인한 클러스터 사용 불가 - 해당 상태에서는 클러스터 삭제만 가능

브로커

브로커는 클러스터 내에서 Kafka 메시지를 저장하고 전송하는 역할을 하는 서버입니다. 클러스터가 구성된 가용 영역마다 사용자가 지정한 브로커 수가 각각 균등하게 분배됩니다. 일반적으로 브로커는 클러스터 내에서 데이터의 파티션을 균일하게 분배하여 모든 브로커가 비슷한 양의 데이터를 처리하게 되며, 이는 부하 분산에 기여합니다. 클러스터 용량이 부족한 경우 브로커의 재시작이나 클러스터의 중단 없이도 브로커에 할당된 볼륨 크기를 확장할 수 있습니다.

브로커 수명주기 및 상태

브로커 수명주기

상태	설명
Starting	브로커 생성 요청 중
Creating	브로커 생성 중
Active	브로커 실행 중
Updating	클러스터 세부 설정 변경으로 인한 브로커 세부 설정 변경 중 - 세부 설정 완료 시 브로커는 Active 상태에서 Rebooting으로 전환
Rebooting	클러스터 세부 설정 완료 후 재기동 중 - 재기동 완료 시 브로커는 Active 상태
Extending	볼륨 확장 중
Deleting	브로커 삭제 중
Deleted	브로커 삭제 완료 - 모든 브로커 삭제 완료 시 클러스터 삭제
Error	브로커 에러

인스턴스

클러스터 구성 시 사용 가능한 인스턴스 유형은 아래와 같습니다. 추후 인스턴스 유형을 확대 지원할 예정입니다.

유형	vCPU(개)	Memory(GB)
r2a.2xlarge	8	64

볼륨

볼륨은 브로커 구성 시 지정한 볼륨 크기가 브로커마다 자동으로 할당됩니다. 볼륨에 대한 자세한 설명은 볼륨 생성 및 관리 문서를 참고하시기 바랍니다.

네트워크와 보안

Advanced Managed Kafka에서 생성하는 모든 인스턴스는 VPC 환경에서 제공합니다. 클러스터를 구성하기 위해서 보안 그룹을 생성해야 하고, 컴포넌트 구성을 위한 인바운드 규칙을 설정해야 클러스터를 생성할 수 있습니다. 네트워크와 보안 설정에 대한 자세한 설명은 보안 그룹을 참고하시기 바랍니다.

지원 중인 Apache Kafka 버전

안정적인 서비스 운영을 위해 Advanced Managed Kafka가 권장하는 버전을 사용하는 것을 권장합니다.

안내

Advanced Managed Kafka는 Apache Kafka의 오픈 소스 릴리스 정책 및 EOL(End of Life) 정책을 준수합니다. Kafka는 1년에 3회 새로운 버전을 릴리스하며, 각 버전은 릴리스 후 약 1년간 커뮤니티 지원이 됩니다. 자세한 내용은 Apache Kafka EOL 정책을 참고해 주세요.

Apache Kafka 버전	지원 시작일	지원 종료일
3.7.1 (권장)	2024-11-01	-