클러스터 생성 및 관리
클러스터는 하나 이상의 브로커로 구성되며 데이터의 실시간 처리, 내구성, 확장성, 보안을 포함하는 종합적인 메시징 플랫폼입니다. 클러스터를 통해 여러 애플리케이션 간의 데이터 흐름을 신뢰성 있게 연결할 수 있습니다.
Advanced Managed Kafka 서비스에서 클러스터를 생성하고 관리하는 방법은 다음과 같습니다.
클러스터 생성
신규 클러스터를 생성합니다. 환경에 따라 클러 스터 생성 시 약 10분 정도 소요될 수 있습니다.
클러스터 생성 후 볼륨을 확장하더라도 최대 IOPS는 최초 지정된 값으로 고정됩니다. 안정적인 성능을 위해 적절한 볼륨 크기를 설정해 주세요.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
-
[시작하기] 버튼을 클릭하여 Advanced Managed Kafka 서비스 사용을 시작합니다.
- 서비스 사용을 시작하면 Advanced Managed Kafka의 리소스에 접근하기 위한 서비스 에이전트가 생성됩니다.
-
클러스터 메뉴에서 우측 상단에 위치한 [클러스터 생성] 버튼을 클릭합니다.
-
클러스터 생성에 필요한 정보를 입력하고 [생성] 버튼을 클릭합니다.
항목 구분 설명 기본 설정 클러스터 이름 생성할 클러스터의 이름
- 같은 프로젝트 내에서 중복된 클러스터 이름 사용 불가
- 예시: my-cluster-01Kafka 버전 Apache Kafka 버전 선택
- 지원 중인 Apache Kafka 버전포트 Apache Kafka 접근을 위한 포트 번호 입력
- 기본 포트 번호:9092
- 1024부터 49150 내에서 사용 가능인스턴스 유형 인스턴스 유형 선택
- 선택한 인스턴스의 사양으로 클러스터 내 각 브로커 실행
- 클러스터 생성 후 인스턴스 유형 변경 불가네트워크 설정 VPC 클러스터가 구성될 네트워크 선택
- 클러스터의 고가용성 유지를 위해 2개 이상의 가용 영역을 가진 VPC 사용 권장
- 생성된 사용자 VPC 중 선택 또는 신규 생성 후 선택서브넷 브로커가 할당될 서브넷 선택
- 생성된 사용자 서브넷 중 선택 또는 신규 생성 후 선택보안 그룹 클러스터에 적용할 보안 그룹 설정
- 생성된 사용자 보안 그룹 중 선택 또는 신규 생성 후 선택
- 자세한 설명은 보안 그룹 참고브로커 구성 설정 지정된 가용 영역 수 네트워크 설정에서 선택한 서브넷의 가용 영역 수 및 가용 영역 확인 브로커 수 지정된 가용 영역마다 분산 배치할 브로커 수 입력
- 브로커 쿼터(Quota): 프로젝트 내 최대 9개
- 브로커 쿼터 대한 자세한 설명은 쿼터 참고
* 가용 영역 수 2개, 브로커 수 3개로 지정한 경우 가용 영역 2곳에 브로커 3개씩 배치총 브로커 수: 6개
볼륨 타입 / 크기 각 브로커에 할당할 볼륨 타입 및 크기 지정
- 볼륨 타입: 현재 SSD 유형만 제공
- 볼륨 크기: 최소 50GB부터 5,120GB까지 입력 가능
* 브로커 수 3개, 볼륨 크기 50GB로 지정한 경우 각 브로커에 50GB씩 할당총 볼륨 크기: 150GB
최대 IOPS 볼륨 크기에 따라 지정되는 최대 IOPS 확인 세부 설정 그 외 클러스터 세부 설정 확인 및 설정값 변경 가능
클러스터 관리
클러스터 목록 조회
프로젝트 내에 생성한 클러스터 목록을 조회할 수 있습니다.
- 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
- 클러스터 메뉴에서 현재 생성된 클러스터 목록을 확인합니다.
항목 설명 비고 이름 클러스터 생성 시 사용자가 지정한 이름 클러스터 이름을 클릭해 클러스터의 상세 정보 확인 가능 ID 클러스터의 리소스 ID 상태 현재 클러스터의 상태 상세 상태값 정보는 클러스터 수명주기 및 상태 참고 버전 사용 중인 Apache Kafka 버전 인스턴스 유형 클러스터 생성 시 사용자가 선택한 브로커의 인스턴스 사양 현재 r2a.2xlarge
유형만 제공가용 영역 수 클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수 브로커 수 클러스터 생성 시 사용자가 생성한 브로커 수 총 브로커 수: 가용 영역 수 * 브로커 수
생성일시 클러스터 생성 일시 생성자 클러스터 생성을 요청한 사용자
클러스터 정보 조회
프로젝트 내 생성한 클러스터 정보를 확인할 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
-
클러스터 메뉴에서 상세 정보를 확인할 클러스터 이름을 클릭합니다.
-
탭에서 상세 정보를 확인합니다.
상단 정보
항목 설명 비고 상태 현재 클러스터의 상태 상세 상태값 정보는 클러스터 수명주기 및 상태 참고 부트스트랩 서버 Kafka 클러스터 초기 연결 및 통신 시 부트스트랩 서버 주소 요약 정보 탭
항목 정보 설명 클러스터 클러스터 이름 클러스터 생성 시 사용자가 지정한 이름 클러스터 ID 클러스터의 리소스 ID 인스턴스 유형 클러스터 생성 시 사용자가 선택한 브로커의 인스턴스 사양 Kafka 버전 Apache Kafka 버전 정보 생성자 클러스터 생성을 요청한 사용자 생성일시 클러스터 생성 일시 브로커 구성 가용 영역 수 클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수 가용 영역당 브로커 수 가용 영역당 배치된 브로커 수와 총 브로커 수
- 총 브로커 수:가용 영역 수 * 브로커 수
브로커당 볼륨 크기 브로커당 할당된 볼륨 크기와 총 볼륨 크기 브로커 탭
How-to Guides > 브로커 조회 및 관리를 참고하시기 바랍니다.
보안 탭
클러스터에 적용된 보안 그룹과 세부 정책을 조회할 수 있습니다. 클러스터에 접근하기 위해서는 클러스터 생성 시 설정한 포트 번호가 보안 그룹에 허용되어 있어야 합니다.
목록 내 연결된 보안 그룹 이름을 클릭해 정책 관리를 위한 VPC > 보안 그룹 상세 페이지로 이동할 수 있습니다.모니터링 탭
구분 설명 데이터 기간 모니터링 그래프에 표시할 데이터 기간
- 1시간 전(기본값) / 3시간 전 / 12시간 전 / 1일 전 / 7일 전조회 항목 모니터링 조회 항목 선택
- Advanced Managed Kafka Cluster / CPU / Memory / Disk / Network
- 전체 선택(기본값)
- 항목 복수 선택 가능보기 모드 모니터링 그래프 보기 모드 설정
- 1단 보기, 2단 보기 제공자동 새로고침 주기 자동 새로고침 주기 설정
- 자동 새로고침 안 함(기본값) / 10초 / 30초 / 1분 / 5분수동 새로고침 새로고침 버튼 클릭 시 모니터링 결과 새로고침 모니터링 데이터
항목 모니터 링 데이터 설명 Advanced Managed Kafka Cluster Online Brokers (Counts) 활성 브로커 수 Advanced Managed Kafka Cluster Partitions (Counts) 파티션 수 Advanced Managed Kafka Cluster Topics (Counts) 토픽 수 Advanced Managed Kafka Cluster Partitions Count for Topics (Counts) 토픽당 파티션 수 Advanced Managed Kafka Cluster Topic Bytes In (Bytes/s) 토픽에 들어온 초당 바이트 양 Advanced Managed Kafka Cluster Topic Bytes Out (Bytes/s) 토픽에서 나간 초당 바이트 양 Advanced Managed Kafka Cluster Fetch Request (Count/s) 컨슈머가 요청한 초당 읽기 요청 수 Advanced Managed Kafka Cluster Failed Fetch Request (Count/s) 컨슈머가 요청한 초당 읽기 실패 수 Advanced Managed Kafka Cluster Message In (Count/s) 클러스터에 들어온 초당 메시지 수 Advanced Managed Kafka Cluster Produce Request (Count/s) 프로듀서가 요청한 초당 쓰기 요청 수 Advanced Managed Kafka Cluster Failed Produce Request (Count/s) 프로듀서가 요청한 초당 쓰기 요청 실패 수 Advanced Managed Kafka Cluster TCP Established Session Count 클라이언트와 브로커 간 활성 TCP 연결 수 CPU CPU Usage (%) CPU 총 사용량 Memory Memory Usage (%) 메모리 총 사용량 Disk Disk Write (Bytes/s) 브로커의 초당 쓰기 바이트 양 Disk Disk Read (Bytes/s) 브로커의 초당 읽기 바이트 양 Disk Read IOPS (Bytes/s) 디스크의 초당 읽기 성능 Disk Write IOPS (Bytes/s) 디스크의 초당 쓰기 성능 Disk Disk Usage (%) 디스크 총 사용량 Network Network Rx (Bytes/s) 브로커의 초당 수신 데이터 바이트 양 Network Network Tx (Bytes/s) 브로커의 초당 전송 데이터 바이트 양 Network Network Rx Packets (Packets/s) 브로커가 수신한 초당 네트워크 패킷 수 Network Network Tx Packets (Packets/s) 브로커가 전송한 초당 네트워크 패킷 수
볼륨 확장
데이터 증가와 저장 공간 부족 문제를 해결하고 클러스터의 안정성을 유지하기 위해 브로커에 할당된 볼륨 크기를 늘릴 수 있습니다.
브로커를 재시작할 필요 없이 저장 공간을 동적으로 늘릴 수 있습니다.
볼륨 확장은 디스크 용량 증가를 의미하며 최대 IOPS는 증가하지 않습니다. 확장한 볼륨 크기에 따라 최대 IOPS가 증가하는 기능은 추후 지원 예정입니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
-
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
-
우측 상단에 위치한 [볼륨 확장] 버튼을 클릭합니다.
-
볼륨 확장 설정에서 볼륨을 확장하고 [저장] 버튼을 클릭합니다.
항목 설명 클러스터 이름 선택한 클러스터의 이름 확인 브로커 수 선택한 클러스터 내 총 브로커 수 확인 볼륨 크기 가용 영역당 배포되어 있는 브로커 수 확인 및 확장할 볼륨 크기 지정
클러스터 확장
워크로드 증가 및 데이터 흐름에 대응이 필요할 시 클러스터 확장을 통해 브로커 수를 늘리는 작업을 진행할 수 있습니다.
클러스터 확장 시 브로커 파티션 재분배로 잠시 성능에 영향을 미칠 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
-
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
-
우측 상단에 위치한 [클러스터 확장] 버튼을 클릭합니다.
-
클러스터 확장 설정에서 브로커 수를 확장하고 [저장] 버튼을 클릭합니다.
항목 설명 클러스터 이름 선택한 클러스터의 이름 확인 가용 영역 수 선택한 클러스터의 가용 영역 수 확인 가용 영역 선택한 클러스터의 가용 영역 확인 브로커 수 가용 영역당 배포되어 있는 브로커 수 확인 및 확장할 브로커 수 지정
클러스터 세부 설정
변경 가능한 클러스터 세부 설정을 확인하고 설정값을 수정할 수 있습니다. 클러스터 세부 설정 변경 시 모든 브로커가 일괄 재기동 됩니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
-
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
-
우측 상단에 위치한 [클러스터 세부 설정] 버튼을 클릭합니다.
-
클러스터 세부 설정에서 설정값을 변경하고 [저장] 버튼을 클릭합니다.
항목 설명 auto.create.topics.enable 토픽 자동 생성 허용 여부 delete.topic.enable 토픽 삭제 허용 여부 unclean.leader.election.enable 정상 복제본이 없는 경우 리더 선출 금지 여부 default.replication.factor 새 토픽의 기본 복제본 수 num.partitions 토픽 기본 파티션 수 message.max.bytes Kafka 메시지 최대 크기 min.insync.replicas 리더 복제본과 동기화된 최소 복제본 수 num.io.threads