주요 개념
카카오클라우드의 Advanced Managed Kafka는 Apache Kafka를 완전 관리형으로 제공하여 실시간 데이터 스트리밍과 이벤트 처리를 안정적으로 지원하는 클라우드 플랫폼 서비스입니다.
Advanced Managed Kafka 서비스의 주요 개념은 다음과 같습니다.
클러스터
클러스터는 하나 이상의 브로커로 구성된 집합입니다. 클러스터가 고가용성을 유지하면서도 단일 클러스터 내에서 데이터 스트리밍 작업을 수행할 수 있도록 하나 이상의 가용 영역에 클러스터를 구성하는 것을 권장합니다. 클러스터 운영 중에 클러스터를 확장하여 데이터 처리 성능을 높이거나 클러스터의 세부 설정을 자유롭게 변경할 수 있습니다.
클러스터 수명주기 및 상태
클러스터 수명주기
| 상태 | 설명 |
|---|---|
Starting | 클러스터 생성 요청 중 - 클러스터 생성 요청 시 각 브로커 Starting 상태 |
Creating | 클러스터 생성 중 - 클러스터 생성 중일 시 브로커가 순차적으로 Creating 상태 |
Active | 클러스터 실행 중 - 모든 브로커가 Active 상태임을 의미 |
Updating | 클러스터 세부 설정 변경 중 - 클러스터 세부 설정 변경 시 브로커가 순차적으로 Updating 상태 |
Rebooting | 클러스터 세부 설정 완료 후 재기동 중 - 재기동 시 브로커가 순차적으로 Rebooting 상태 |
Extending | 볼륨 확장 중 - 볼륨 확장 시 브로커가 순차적으로 Extending 상태 |
Expanding | 클러스터 확장 중 - 클러스터 확장 시 브로커가 순차적으로 Expanding 상태 |
Deleting | 클러스터 삭제 중 - 클러스터 삭제 시 브로커가 순차적으로 Deleting 상태 |
Error (some brokers) | 일부 브로커가 Error 상태지만 클러스터 실행 중 |
Error (all brokers) | 전체 브로커 Error 상태로 인한 클러스터 사용 불가 - 해당 상태에서는 클러스터 삭제만 가능 |
브로커
브로커는 클러스터 내에서 Kafka 메시지를 저장하고 전송하는 역할을 하는 서버입니다. 클러스터가 구성된 가용 영역마다 사용자가 지정한 브로커 수가 각각 균등하게 분배됩니다. 일반적으로 브로커는 클러스터 내에서 데이터의 파티션을 균일하게 분배하여 모든 브로커가 비슷한 양의 데이터를 처리하게 되며, 이는 부하 분산에 기여합니다. 클러스터 용량이 부족한 경우 브로커의 재시작이나 클러스터의 중단 없이도 브로커에 할당된 볼륨 크기를 확장할 수 있습니다.
브로커 수명주기 및 상태
브로커 수명주기
| 상태 | 설명 |
|---|---|
Starting | 브로커 생성 요청 중 |
Creating | 브로커 생성 중 |
Active | 브로커 실행 중 |
Updating | 클러스터 세부 설정 변경으로 인한 브로커 세부 설정 변경 중 - 세부 설정 완료 시 브로커는 Active 상태에서 Rebooting 으로 전환 |
Rebooting | 클러스터 세부 설정 완료 후 재기동 중 - 재기동 완료 시 브로커는 Active 상태 |
Extending | 볼륨 확장 중 |
Deleting | 브로커 삭제 중 |
Deleted | 브로커 삭제 완료 - 모든 브로커 삭제 완료 시 클러스터 삭제 |
Error | 브로커 에러 |
인스턴스
클러스터 구성 시 사용 가능한 인스턴스 유형은 아래와 같습니다. 추후 인스턴스 유형을 확대 지원할 예정입니다.
| 유형 | vCPU(개) | Memory(GB) |
|---|---|---|
r2a.2xlarge | 8 | 64 |
볼륨
볼륨은 브로커 구성 시 지정한 볼륨 크기가 브로커마다 자동으로 할당됩니다. 볼륨에 대한 자세한 설명은 볼륨 생성 및 관리 문서를 참고하시기 바랍니다.
네트워크와 보안
Advanced Managed Kafka에서 생성하는 모든 인스턴스는 VPC 환경에서 제공합니다. 클러스터를 구성하기 위해서 보안 그룹을 생성해야 하고, 컴포넌트 구성을 위한 인바운드 규칙을 설정해야 클러스터를 생성할 수 있습니다. 네트워크와 보안 설정에 대한 자세한 설명은 보안 그룹을 참고하시기 바랍니다.
지원 중인 Apache Kafka 버전
안정적인 서비스 운영을 위해 Advanced Managed Kafka가 권장하는 버전을 사용하는 것을 권장합니다.
Advanced Managed Kafka는 Apache Kafka의 오픈 소스 릴리스 정책 및 EOL(End of Life) 정책을 준수합니다. Kafka는 1년에 3회 새로운 버전을 릴리스하며, 각 버전은 릴리스 후 약 1년간 커뮤니티 지원이 됩니다. 자세한 내용은 Apache Kafka EOL 정책을 참고해 주세요.
| Apache Kafka 버전 | 지원 시작일 | 지원 종료일 |
|---|---|---|
| 3.7.1 (권장) | 2024-11-01 | - |