클러스터 생성 및 관리

클러스터는 하나 이상의 브로커로 구성되며 데이터의 실시간 처리, 내구성, 확장성, 보안을 포함하는 종합적인 메시징 플랫폼입니다. 클러스터를 통해 여러 애플리케이션 간의 데이터 흐름을 신뢰성 있게 연결할 수 있습니다.
Advanced Managed Kafka 서비스에서 클러스터를 생성하고 관리하는 방법은 다음과 같습니다.

클러스터 생성

신규 클러스터를 생성합니다. 환경에 따라 클러스터 생성 시 약 10분 정도 소요될 수 있습니다.

안내

클러스터 생성 후 볼륨을 확장하더라도 최대 IOPS는 최초 지정된 값으로 고정됩니다. 안정적인 성능을 위해 적절한 볼륨 크기를 설정해 주세요.

카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
[시작하기] 버튼을 클릭하여 Advanced Managed Kafka 서비스 사용을 시작합니다.
- 서비스 사용을 시작하면 Advanced Managed Kafka의 리소스에 접근하기 위한 서비스 에이전트가 생성됩니다.
클러스터 메뉴에서 우측 상단에 위치한 [클러스터 생성] 버튼을 클릭합니다.

클러스터 생성에 필요한 정보를 입력하고 [생성] 버튼을 클릭합니다.

항목	구분	설명
기본 설정	클러스터 이름	생성할 클러스터의 이름 - 같은 프로젝트 내에서 중복된 클러스터 이름 사용 불가 - 예시: my-cluster-01
	Kafka 버전	Apache Kafka 버전 선택 - 지원 중인 Apache Kafka 버전
	포트	Apache Kafka 접근을 위한 포트 번호 입력 - 기본 포트 번호: `9092` - 1024부터 49150 내에서 사용 가능
인스턴스 유형		인스턴스 유형 선택 - 선택한 인스턴스의 사양으로 클러스터 내 각 브로커 실행 - 클러스터 생성 후 인스턴스 유형 변경 불가
네트워크 설정	VPC	클러스터가 구성될 네트워크 선택 - 클러스터의 고가용성 유지를 위해 2개 이상의 가용 영역을 가진 VPC 사용 권장 - 생성된 사용자 VPC 중 선택 또는 신규 생성 후 선택
	서브넷	브로커가 할당될 서브넷 선택 - 생성된 사용자 서브넷 중 선택 또는 신규 생성 후 선택
	보안 그룹	클러스터에 적용할 보안 그룹 설정 - 생성된 사용자 보안 그룹 중 선택 또는 신규 생성 후 선택 - 자세한 설명은 보안 그룹 참고
브로커 구성 설정	지정된 가용 영역 수	네트워크 설정에서 선택한 서브넷의 가용 영역 수 및 가용 영역 확인
	브로커 수	지정된 가용 영역마다 분산 배치할 브로커 수 입력 - 브로커 쿼터(Quota): 프로젝트 내 최대 9개 - 브로커 쿼터 대한 자세한 설명은 쿼터 참고 * 가용 영역 수 2개, 브로커 수 3개로 지정한 경우 가용 영역 2곳에 브로커 3개씩 배치 `총 브로커 수: 6개`
	볼륨 타입 / 크기	각 브로커에 할당할 볼륨 타입 및 크기 지정 - 볼륨 타입: 현재 SSD 유형만 제공 - 볼륨 크기: 최소 50GB부터 5,120GB까지 입력 가능 * 브로커 수 3개, 볼륨 크기 50GB로 지정한 경우 각 브로커에 50GB씩 할당 `총 볼륨 크기: 150GB`
	최대 IOPS	볼륨 크기에 따라 지정되는 최대 IOPS 확인
	세부 설정	그 외 클러스터 세부 설정 확인 및 설정값 변경 가능

클러스터 관리

클러스터 목록 조회

프로젝트 내에 생성한 클러스터 목록을 조회할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.

클러스터 메뉴에서 현재 생성된 클러스터 목록을 확인합니다.

항목	설명	비고
이름	클러스터 생성 시 사용자가 지정한 이름	클러스터 이름을 클릭해 클러스터의 상세 정보 확인 가능
ID	클러스터의 리소스 ID
상태	현재 클러스터의 상태	상세 상태값 정보는 클러스터 수명주기 및 상태 참고
버전	사용 중인 Apache Kafka 버전
인스턴스 유형	클러스터 생성 시 사용자가 선택한 브로커의 인스턴스 사양	현재 `r2a.2xlarge` 유형만 제공
가용 영역 수	클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수
브로커 수	클러스터 생성 시 사용자가 생성한 브로커 수	총 브로커 수: `가용 영역 수 * 브로커 수`
생성일시	클러스터 생성 일시
생성자	클러스터 생성을 요청한 사용자

클러스터 정보 조회

프로젝트 내 생성한 클러스터 정보를 확인할 수 있습니다.

카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
클러스터 메뉴에서 상세 정보를 확인할 클러스터 이름을 클릭합니다.

탭에서 상세 정보를 확인합니다.

상단 정보

항목	설명	비고
상태	현재 클러스터의 상태	상세 상태값 정보는 클러스터 수명주기 및 상태 참고
부트스트랩 서버	Kafka 클러스터 초기 연결 및 통신 시 부트스트랩 서버 주소

요약 정보 탭

항목	정보	설명
클러스터	클러스터 이름	클러스터 생성 시 사용자가 지정한 이름
	클러스터 ID	클러스터의 리소스 ID
	인스턴스 유형	클러스터 생성 시 사용자가 선택한 브로커의 인스턴스 사양
	Kafka 버전	Apache Kafka 버전 정보
	생성자	클러스터 생성을 요청한 사용자
	생성일시	클러스터 생성 일시
브로커 구성	가용 영역 수	클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수
	가용 영역당 브로커 수	가용 영역당 배치된 브로커 수와 총 브로커 수 - 총 브로커 수: `가용 영역 수 * 브로커 수`
	브로커당 볼륨 크기	브로커당 할당된 볼륨 크기와 총 볼륨 크기

브로커 탭

How-to Guides > 브로커 조회 및 관리를 참고하시기 바랍니다.

보안 탭

클러스터에 적용된 보안 그룹과 세부 정책을 조회할 수 있습니다. 클러스터에 접근하기 위해서는 클러스터 생성 시 설정한 포트 번호가 보안 그룹에 허용되어 있어야 합니다.
목록 내 연결된 보안 그룹 이름을 클릭해 정책 관리를 위한 VPC > 보안 그룹 상세 페이지로 이동할 수 있습니다.

모니터링 탭

구분	설명
데이터 기간	모니터링 그래프에 표시할 데이터 기간 - 1시간 전(기본값) / 3시간 전 / 12시간 전 / 1일 전 / 7일 전
조회 항목	모니터링 조회 항목 선택 - Advanced Managed Kafka Cluster / CPU / Memory / Disk / Network - 전체 선택(기본값) - 항목 복수 선택 가능
보기 모드	모니터링 그래프 보기 모드 설정 - 1단 보기, 2단 보기 제공
자동 새로고침 주기	자동 새로고침 주기 설정 - 자동 새로고침 안 함(기본값) / 10초 / 30초 / 1분 / 5분
수동 새로고침	새로고침 버튼 클릭 시 모니터링 결과 새로고침

모니터링 데이터

항목	모니터링 데이터	설명
Advanced Managed Kafka Cluster	Online Brokers (Counts)	활성 브로커 수
Advanced Managed Kafka Cluster	Partitions (Counts)	파티션 수
Advanced Managed Kafka Cluster	Topics (Counts)	토픽 수
Advanced Managed Kafka Cluster	Partitions Count for Topics (Counts)	토픽당 파티션 수
Advanced Managed Kafka Cluster	Topic Bytes In (Bytes/s)	토픽에 들어온 초당 바이트 양
Advanced Managed Kafka Cluster	Topic Bytes Out (Bytes/s)	토픽에서 나간 초당 바이트 양
Advanced Managed Kafka Cluster	Fetch Request (Count/s)	컨슈머가 요청한 초당 읽기 요청 수
Advanced Managed Kafka Cluster	Failed Fetch Request (Count/s)	컨슈머가 요청한 초당 읽기 실패 수
Advanced Managed Kafka Cluster	Message In (Count/s)	클러스터에 들어온 초당 메시지 수
Advanced Managed Kafka Cluster	Produce Request (Count/s)	프로듀서가 요청한 초당 쓰기 요청 수
Advanced Managed Kafka Cluster	Failed Produce Request (Count/s)	프로듀서가 요청한 초당 쓰기 요청 실패 수
Advanced Managed Kafka Cluster	TCP Established Session Count	클라이언트와 브로커 간 활성 TCP 연결 수
CPU	CPU Usage (%)	CPU 총 사용량
Memory	Memory Usage (%)	메모리 총 사용량
Disk	Disk Write (Bytes/s)	브로커의 초당 쓰기 바이트 양
Disk	Disk Read (Bytes/s)	브로커의 초당 읽기 바이트 양
Disk	Read IOPS (Bytes/s)	디스크의 초당 읽기 성능
Disk	Write IOPS (Bytes/s)	디스크의 초당 쓰기 성능
Disk	Disk Usage (%)	디스크 총 사용량
Network	Network Rx (Bytes/s)	브로커의 초당 수신 데이터 바이트 양
Network	Network Tx (Bytes/s)	브로커의 초당 전송 데이터 바이트 양
Network	Network Rx Packets (Packets/s)	브로커가 수신한 초당 네트워크 패킷 수
Network	Network Tx Packets (Packets/s)	브로커가 전송한 초당 네트워크 패킷 수

볼륨 확장

데이터 증가와 저장 공간 부족 문제를 해결하고 클러스터의 안정성을 유지하기 위해 브로커에 할당된 볼륨 크기를 늘릴 수 있습니다.
브로커를 재시작할 필요 없이 저장 공간을 동적으로 늘릴 수 있습니다.

안내

볼륨 확장은 디스크 용량 증가를 의미하며 최대 IOPS는 증가하지 않습니다. 확장한 볼륨 크기에 따라 최대 IOPS가 증가하는 기능은 추후 지원 예정입니다.

카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
우측 상단에 위치한 [볼륨 확장] 버튼을 클릭합니다.

볼륨 확장 설정에서 볼륨을 확장하고 [저장] 버튼을 클릭합니다.

항목	설명
클러스터 이름	선택한 클러스터의 이름 확인
브로커 수	선택한 클러스터 내 총 브로커 수 확인
볼륨 크기	가용 영역당 배포되어 있는 브로커 수 확인 및 확장할 볼륨 크기 지정

클러스터 확장

워크로드 증가 및 데이터 흐름에 대응이 필요할 시 클러스터 확장을 통해 브로커 수를 늘리는 작업을 진행할 수 있습니다.
클러스터 확장 시 브로커 파티션 재분배로 잠시 성능에 영향을 미칠 수 있습니다.

카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
우측 상단에 위치한 [클러스터 확장] 버튼을 클릭합니다.

클러스터 확장 설정에서 브로커 수를 확장하고 [저장] 버튼을 클릭합니다.

항목	설명
클러스터 이름	선택한 클러스터의 이름 확인
가용 영역 수	선택한 클러스터의 가용 영역 수 확인
가용 영역	선택한 클러스터의 가용 영역 확인
브로커 수	가용 영역당 배포되어 있는 브로커 수 확인 및 확장할 브로커 수 지정

클러스터 세부 설정

변경 가능한 클러스터 세부 설정을 확인하고 설정값을 수정할 수 있습니다. 클러스터 세부 설정 변경 시 모든 브로커가 일괄 재기동 됩니다.

카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
우측 상단에 위치한 [클러스터 세부 설정] 버튼을 클릭합니다.

클러스터 세부 설정에서 설정값을 변경하고 [저장] 버튼을 클릭합니다.

항목	설명
auto.create.topics.enable	토픽 자동 생성 허용 여부
delete.topic.enable	토픽 삭제 허용 여부
unclean.leader.election.enable	정상 복제본이 없는 경우 리더 선출 금지 여부
default.replication.factor	새 토픽의 기본 복제본 수
num.partitions	토픽 기본 파티션 수
message.max.bytes	Kafka 메시지 최대 크기
min.insync.replicas	리더 복제본과 동기화된 최소 복제본 수
num.io.threads	디스크 I/O 작업 처리할 스레드 수
num.network.threads	네트워크 요청 처리할 스레드 수
num.replica.fetchers	리더 복제본에서 가져오는 복제 스레드 수
socket.receive.buffer.bytes	네트워크 소켓 수신 버퍼 크기
socket.request.max.bytes	브로커가 수신할 수 있는 최대 요청 크기
socket.send.buffer.bytes	네트워크 소켓 송신 버퍼 크기

클러스터 삭제

더 이상 사용하지 않는 클러스터를 삭제할 수 있습니다.

caution

삭제한 클러스터 내 브로커와 할당된 볼륨이 완전히 반납되어 복구할 수 없으니 주의하시기 바랍니다.

카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
클러스터 메뉴에서 삭제할 클러스터를 선택합니다.
클러스터 삭제 팝업창에서 삭제할 클러스터의 이름을 입력하고 [삭제] 버튼을 클릭합니다.