본문으로 건너뛰기

클러스터 생성 및 관리

클러스터는 하나 이상의 브로커로 구성되며 데이터의 실시간 처리, 내구성, 확장성, 보안을 포함하는 종합적인 메시징 플랫폼입니다. 클러스터를 통해 여러 애플리케이션 간의 데이터 흐름을 신뢰성 있게 연결할 수 있습니다.
Advanced Managed Kafka 서비스에서 클러스터를 생성하고 관리하는 방법은 다음과 같습니다.

클러스터 생성

신규 클러스터를 생성합니다. 환경에 따라 클러스터 생성 시 약 10분 정도 소요될 수 있습니다.

안내

클러스터 생성 후 볼륨을 확장하더라도 최대 IOPS는 최초 지정된 값으로 고정됩니다. 안정적인 성능을 위해 적절한 볼륨 크기를 설정해 주세요.

  1. 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.

  2. [시작하기] 버튼을 클릭하여 Advanced Managed Kafka 서비스 사용을 시작합니다.

    • 서비스 사용을 시작하면 Advanced Managed Kafka의 리소스에 접근하기 위한 서비스 에이전트가 생성됩니다.
  3. 클러스터 메뉴에서 우측 상단에 위치한 [클러스터 생성] 버튼을 클릭합니다.

  4. 클러스터 생성에 필요한 정보를 입력하고 [생성] 버튼을 클릭합니다.

    항목구분설명
    기본 설정클러스터 이름생성할 클러스터의 이름
    - 같은 프로젝트 내에서 중복된 클러스터 이름 사용 불가
    - 예시: my-cluster-01
    Kafka 버전Apache Kafka 버전 선택
    - 지원 중인 Apache Kafka 버전
    포트Apache Kafka 접근을 위한 포트 번호 입력
    - 기본 포트 번호: 9092
    - 1024부터 49150 내에서 사용 가능
    인스턴스 유형인스턴스 유형 선택
    - 선택한 인스턴스의 사양으로 클러스터 내 각 브로커 실행
    - 클러스터 생성 후 인스턴스 유형 변경 불가
    네트워크 설정VPC클러스터가 구성될 네트워크 선택
    - 클러스터의 고가용성 유지를 위해 2개 이상의 가용 영역을 가진 VPC 사용 권장
    - 생성된 사용자 VPC 중 선택 또는 신규 생성 후 선택
    서브넷브로커가 할당될 서브넷 선택
    - 생성된 사용자 서브넷 중 선택 또는 신규 생성 후 선택
    보안 그룹클러스터에 적용할 보안 그룹 설정
    - 생성된 사용자 보안 그룹 중 선택 또는 신규 생성 후 선택
    - 자세한 설명은 보안 그룹 참고
    브로커 구성 설정지정된 가용 영역 수네트워크 설정에서 선택한 서브넷의 가용 영역 수 및 가용 영역 확인
    브로커 수지정된 가용 영역마다 분산 배치할 브로커 수 입력
    - 브로커 쿼터(Quota): 프로젝트 내 최대 9개
    - 브로커 쿼터 대한 자세한 설명은 쿼터 참고
    * 가용 영역 수 2개, 브로커 수 3개로 지정한 경우 가용 영역 2곳에 브로커 3개씩 배치 총 브로커 수: 6개
    볼륨 타입 / 크기각 브로커에 할당할 볼륨 타입 및 크기 지정
    - 볼륨 타입: 현재 SSD 유형만 제공
    - 볼륨 크기: 최소 50GB부터 5,120GB까지 입력 가능
    * 브로커 수 3개, 볼륨 크기 50GB로 지정한 경우 각 브로커에 50GB씩 할당 총 볼륨 크기: 150GB
    최대 IOPS볼륨 크기에 따라 지정되는 최대 IOPS 확인
    세부 설정그 외 클러스터 세부 설정 확인 및 설정값 변경 가능

클러스터 관리

클러스터 목록 조회

프로젝트 내에 생성한 클러스터 목록을 조회할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.
  2. 클러스터 메뉴에서 현재 생성된 클러스터 목록을 확인합니다.
    항목설명비고
    이름클러스터 생성 시 사용자가 지정한 이름클러스터 이름을 클릭해 클러스터의 상세 정보 확인 가능
    ID클러스터의 리소스 ID
    상태현재 클러스터의 상태상세 상태값 정보는 클러스터 수명주기 및 상태 참고
    버전사용 중인 Apache Kafka 버전
    인스턴스 유형클러스터 생성 시 사용자가 선택한 브로커의 인스턴스 사양현재 r2a.2xlarge 유형만 제공
    가용 영역 수클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수
    브로커 수클러스터 생성 시 사용자가 생성한 브로커 수총 브로커 수: 가용 영역 수 * 브로커 수
    생성일시클러스터 생성 일시
    생성자클러스터 생성을 요청한 사용자

클러스터 정보 조회

프로젝트 내 생성한 클러스터 정보를 확인할 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.

  2. 클러스터 메뉴에서 상세 정보를 확인할 클러스터 이름을 클릭합니다.

  3. 탭에서 상세 정보를 확인합니다.

    상단 정보

    항목설명비고
    상태현재 클러스터의 상태상세 상태값 정보는 클러스터 수명주기 및 상태 참고
    부트스트랩 서버Kafka 클러스터 초기 연결 및 통신 시 부트스트랩 서버 주소

    요약 정보 탭

    항목정보설명
    클러스터클러스터 이름클러스터 생성 시 사용자가 지정한 이름
    클러스터 ID클러스터의 리소스 ID
    인스턴스 유형클러스터 생성 시 사용자가 선택한 브로커의 인스턴스 사양
    Kafka 버전Apache Kafka 버전 정보
    생성자클러스터 생성을 요청한 사용자
    생성일시클러스터 생성 일시
    브로커 구성가용 영역 수클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수
    가용 영역당 브로커 수가용 영역당 배치된 브로커 수와 총 브로커 수
    - 총 브로커 수: 가용 영역 수 * 브로커 수
    브로커당 볼륨 크기브로커당 할당된 볼륨 크기와 총 볼륨 크기

    브로커 탭

    How-to Guides > 브로커 조회 및 관리를 참고하시기 바랍니다.

    보안 탭

    클러스터에 적용된 보안 그룹과 세부 정책을 조회할 수 있습니다. 클러스터에 접근하기 위해서는 클러스터 생성 시 설정한 포트 번호가 보안 그룹에 허용되어 있어야 합니다.
    목록 내 연결된 보안 그룹 이름을 클릭해 정책 관리를 위한 VPC > 보안 그룹 상세 페이지로 이동할 수 있습니다.

    모니터링 탭

    구분설명
    데이터 기간모니터링 그래프에 표시할 데이터 기간
    - 1시간 전(기본값) / 3시간 전 / 12시간 전 / 1일 전 / 7일 전
    조회 항목모니터링 조회 항목 선택
    - Advanced Managed Kafka Cluster / CPU / Memory / Disk / Network
    - 전체 선택(기본값)
    - 항목 복수 선택 가능
    보기 모드모니터링 그래프 보기 모드 설정
    - 1단 보기, 2단 보기 제공
    자동 새로고침 주기자동 새로고침 주기 설정
    - 자동 새로고침 안 함(기본값) / 10초 / 30초 / 1분 / 5분
    수동 새로고침새로고침 버튼 클릭 시 모니터링 결과 새로고침
    모니터링 데이터
    항목모니터링 데이터설명
    Advanced Managed Kafka ClusterOnline Brokers (Counts)활성 브로커 수
    Advanced Managed Kafka ClusterPartitions (Counts)파티션 수
    Advanced Managed Kafka ClusterTopics (Counts)토픽 수
    Advanced Managed Kafka ClusterPartitions Count for Topics (Counts)토픽당 파티션 수
    Advanced Managed Kafka ClusterTopic Bytes In (Bytes/s)토픽에 들어온 초당 바이트 양
    Advanced Managed Kafka ClusterTopic Bytes Out (Bytes/s)토픽에서 나간 초당 바이트 양
    Advanced Managed Kafka ClusterFetch Request (Count/s)컨슈머가 요청한 초당 읽기 요청 수
    Advanced Managed Kafka ClusterFailed Fetch Request (Count/s)컨슈머가 요청한 초당 읽기 실패 수
    Advanced Managed Kafka ClusterMessage In (Count/s)클러스터에 들어온 초당 메시지 수
    Advanced Managed Kafka ClusterProduce Request (Count/s)프로듀서가 요청한 초당 쓰기 요청 수
    Advanced Managed Kafka ClusterFailed Produce Request (Count/s)프로듀서가 요청한 초당 쓰기 요청 실패 수
    Advanced Managed Kafka ClusterTCP Established Session Count클라이언트와 브로커 간 활성 TCP 연결 수
    CPUCPU Usage (%)CPU 총 사용량
    MemoryMemory Usage (%)메모리 총 사용량
    DiskDisk Write (Bytes/s)브로커의 초당 쓰기 바이트 양
    DiskDisk Read (Bytes/s)브로커의 초당 읽기 바이트 양
    DiskRead IOPS (Bytes/s)디스크의 초당 읽기 성능
    DiskWrite IOPS (Bytes/s)디스크의 초당 쓰기 성능
    DiskDisk Usage (%)디스크 총 사용량
    NetworkNetwork Rx (Bytes/s)브로커의 초당 수신 데이터 바이트 양
    NetworkNetwork Tx (Bytes/s)브로커의 초당 전송 데이터 바이트 양
    NetworkNetwork Rx Packets (Packets/s)브로커가 수신한 초당 네트워크 패킷 수
    NetworkNetwork Tx Packets (Packets/s)브로커가 전송한 초당 네트워크 패킷 수

볼륨 확장

데이터 증가와 저장 공간 부족 문제를 해결하고 클러스터의 안정성을 유지하기 위해 브로커에 할당된 볼륨 크기를 늘릴 수 있습니다.
브로커를 재시작할 필요 없이 저장 공간을 동적으로 늘릴 수 있습니다.

안내

볼륨 확장은 디스크 용량 증가를 의미하며 최대 IOPS는 증가하지 않습니다. 확장한 볼륨 크기에 따라 최대 IOPS가 증가하는 기능은 추후 지원 예정입니다.

  1. 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.

  2. 클러스터 메뉴에서 확장할 클러스터를 선택합니다.

  3. 우측 상단에 위치한 [볼륨 확장] 버튼을 클릭합니다.

  4. 볼륨 확장 설정에서 볼륨을 확장하고 [저장] 버튼을 클릭합니다.

    항목설명
    클러스터 이름선택한 클러스터의 이름 확인
    브로커 수선택한 클러스터 내 총 브로커 수 확인
    볼륨 크기가용 영역당 배포되어 있는 브로커 수 확인 및 확장할 볼륨 크기 지정

클러스터 확장

워크로드 증가 및 데이터 흐름에 대응이 필요할 시 클러스터 확장을 통해 브로커 수를 늘리는 작업을 진행할 수 있습니다.
클러스터 확장 시 브로커 파티션 재분배로 잠시 성능에 영향을 미칠 수 있습니다.

  1. 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.

  2. 클러스터 메뉴에서 확장할 클러스터를 선택합니다.

  3. 우측 상단에 위치한 [클러스터 확장] 버튼을 클릭합니다.

  4. 클러스터 확장 설정에서 브로커 수를 확장하고 [저장] 버튼을 클릭합니다.

    항목설명
    클러스터 이름선택한 클러스터의 이름 확인
    가용 영역 수선택한 클러스터의 가용 영역 수 확인
    가용 영역선택한 클러스터의 가용 영역 확인
    브로커 수가용 영역당 배포되어 있는 브로커 수 확인 및 확장할 브로커 수 지정

클러스터 세부 설정

변경 가능한 클러스터 세부 설정을 확인하고 설정값을 수정할 수 있습니다. 클러스터 세부 설정 변경 시 모든 브로커가 일괄 재기동 됩니다.

  1. 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.

  2. 클러스터 메뉴에서 확장할 클러스터를 선택합니다.

  3. 우측 상단에 위치한 [클러스터 세부 설정] 버튼을 클릭합니다.

  4. 클러스터 세부 설정에서 설정값을 변경하고 [저장] 버튼을 클릭합니다.

    항목설명
    auto.create.topics.enable토픽 자동 생성 허용 여부
    delete.topic.enable토픽 삭제 허용 여부
    unclean.leader.election.enable정상 복제본이 없는 경우 리더 선출 금지 여부
    default.replication.factor새 토픽의 기본 복제본 수
    num.partitions토픽 기본 파티션 수
    message.max.bytesKafka 메시지 최대 크기
    min.insync.replicas리더 복제본과 동기화된 최소 복제본 수
    num.io.threads디스크 I/O 작업 처리할 스레드 수
    num.network.threads네트워크 요청 처리할 스레드 수
    num.replica.fetchers리더 복제본에서 가져오는 복제 스레드 수
    socket.receive.buffer.bytes네트워크 소켓 수신 버퍼 크기
    socket.request.max.bytes브로커가 수신할 수 있는 최대 요청 크기
    socket.send.buffer.bytes네트워크 소켓 송신 버퍼 크기

클러스터 삭제

더 이상 사용하지 않는 클러스터를 삭제할 수 있습니다.

주의

삭제한 클러스터 내 브로커와 할당된 볼륨이 완전히 반납되어 복구할 수 없으니 주의하시기 바랍니다.

  1. 카카오클라우드 콘솔 > Analytics > Advanced Managed Kafka 메뉴로 이동합니다.

  2. 클러스터 메뉴에서 삭제할 클러스터를 선택합니다.

  3. 클러스터 삭제 팝업창에서 삭제할 클러스터의 이름을 입력하고 [삭제] 버튼을 클릭합니다.