클러스터 생성 및 관리
클러스터란 여러 노드(Data Node, Cluster Manager Node)로 구성되어 대규모 데이터의 색인, 검색, 분석을 수행하는 OpenSearch 실행 단위입니다. 클러스터는 고성능 검색 처리, 데이터 내구성, 확장성, 보안 구성을 포함하는 통합 검색·분석 환경을 제공하며, 다양한 애플리케이션과 시스템에서 발생하는 데이터를 안정적으로 탐색할 수 있도록 지원합니다.
Advanced Managed Search 서비스에서 OpenSearch 클러스터를 생성하고 관리하는 방법은 다음과 같습니다.
클러스터 생성
신규 클러스터를 생성합니다. 환경에 따라 클러스터 생성 시 약 10분 정도 소요될 수 있습니다.
- 클러스터 생성 후 볼륨을 확장하더라도 최대 IOPS는 최초 지정된 값으로 고정됩니다.
- 안정적인 성능을 위해 적절한 볼륨 크기를 설정해 주세요.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Search 메뉴로 이동합니다.
-
[시작하기] 버튼을 클릭하여, Advanced Managed Search 리소스에 접근하기 위한 서비스 에이전트를 생성합니다.
-
클러스터 메뉴에서 [클러스터 생성] 버튼을 클릭합니다.
-
클러스터 생성에 필요한 정보를 입력하고 [생성] 버튼을 클릭합니다.
항목 구분 설명 기본 설정 클러스터 이름 생성할 클러스터의 이름
- 같은 프로젝트 내에서 중복된 클러스터 이름 사용 불가
- 예시: my-cluster-01OpenSearch 버전 OpenSearch 버전 선택
- 지원 중인 OpenSearch 버전네트워크 설정 VPC 클러스터가 구성될 네트워크 선택
- 클러스터의 고가용성 유지를 위해 2개 이상의 가용 영역을 가진 VPC 사용 권장
- 생성된 사용자 VPC 중 선택 또는 신규 생성 후 선택서브넷 데이터 노드가 할당될 서브넷 선택
- 생성된 사용자 서브넷 중 선택 또는 신규 생성 후 선택보안 그룹 클러스터에 적용할 보안 그룹 설정
- 생성된 사용자 보안 그룹 중 선택 또는 신규 생성 후 선택
- 자세한 설명은 보안 그룹 참고데이터 노드 설정 지정된 가용 영역 수 네트워크 설정에서 선택한 서브넷의 가용 영역 수 및 가용 영역 확인 인스턴스 유형 인스턴스 유형 선택
- 선택한 인스턴스의 사양으로 클러스터 내 각 데이터 노드 실행
- 클러스터 생성 후 인스턴스 유형 변경 불가가용 영역당 데이터 노드 수 지정된 가용 영역마다 분산 배치할 데이터 노드 수 입력
- 데이터 노드 쿼터(Quota): 프로젝트 내 최대 9개
- 데이터 노드 쿼터에 대한 자세한 설명은 쿼터 참고
* 가용 영역 수 2개, 데이터 노드 수 3개로 지정한 경우 가용 영역 2곳에 데이터 노드 3개씩 배치총 데이터 노드 수: 6개데이터 노드당 볼륨 타입 / 크기 각 데이터 노드에 할당할 볼륨 타입 및 크기 지정
- 볼륨 타입: 현재 SSD 유형만 제공
- 볼륨 크기: 최소 50GB부터 1,600GB까지 입력 가능
* 데이터 노드 수 3개, 볼륨 크기 50GB로 지정한 경우 각 데이터 노드에 50GB씩 할당총 볼륨 크기: 150GB최대 IOPS 볼륨 크기에 따라 지정되는 최대 IOPS 확인 클러스터 매니저 노드 설정 인스턴스 유형 인스턴스 유형 선택
- 선택한 인스턴스의 사양으로 클러스터 매니저 노드 실행
- 클러스터 생성 후 인스턴스 유형 변경 불가클러스터 매니저 노드 수 클러스터 매니저 노드 수 확인
- 안정적인 운영을 위해 노드는 항상 3개로 유지됩니다.마스터 사용자 설정 마스터 사용자 이름 마스터 사용자 이름 확인
- 사용상 편의를 위해 마스터 사용자 이름은admin으로 고정마스터 사용자 설정 마스터 비밀번호 마스터 비밀번호 설정
- 영문 대문자를 반드시 포함해야 하며, 영문, 숫자, 특수 문자만 입력 가능 (8-16자)마스터 사용자 설정 마스터 비밀번호 확인 마스터 비밀번호로 설정한 값 재입력
클러스터 관리
클러스터 목록 조회
프로젝트 내에 생성한 클러스터 목록을 조회할 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Search 메뉴로 이동합니다.
-
클러스터 메뉴에서 현재 생성된 클러스터 목록을 확인합니다.
항목 설명 비고 이름 클러스터 생성 시 사용자가 지정한 이름 클러스터 이름을 클릭해 클러스터의 상세 정보 확인 가능 ID 클러스터의 리소스 ID 상태 현재 클러스터의 상태 상세 정보는 클러스터 수명주기 및 상태 참고 세부 상태 상세 설명은 클러스터 상태 및 세부 상태 참고 버전 사용 중인 OpenSearch 버전 가용 영역 수 클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수 데이터 노드 수 클러스터 생성 시 사용자가 생성한 데이터 노드 수 총 데이터 노드 수: 가용 영역 수 * 데이터 노드 수생성일시 클러스터 생성 일시 생성자 클러스터 생성을 요청한 사용자
클러스터 상태 및 세부 상태
클러스터 확장 또는 인스턴스 유형 변경을 수행하면, 처리 단계에 따라 상태와는 별도로 세부 상태가 함께 표시되어 현재 어떤 작업이 진행 중인지 더 자세히 확인할 수 있습니다.
인스턴스 유형 변경(Scaling Up) 성공 시
| 상태 | 세부 상태 | 설명 |
|---|---|---|
| Running | Idle | 일부 데이터 노드가 불능 상태일 수 있으나, 클러스터는 정상 동작 중 |
| Scaling Up | Provisioning New Nodes | desired-hash 교체 노드를 새로 프로비저닝 하는 중 |
| Scaling Up | Relocating Nodes | legacy 노드를 allocation에서 제외한 뒤, legacy 노드의 샤드를 새 노드로 드레이닝 하는 중 |
| Scaling Up | Switching Traffic | nginx 설정을 새 desired-hash Running 노드 기준으로 갱신하여 트래픽을 새 노드로 전환하고 대시보드 호스트도 함께 동기화 |
| Scaling Up | Deleting Old Node | 교체 노드가 전부 Running 상태인지 재확인 - 전부 Running이 아니면 Relocating Nodes 단계부터 다시 진행 |
| Scaling Up | Done | 인스턴스 유형 변경이 완료되면 클러스터는 다시 Running 상태가 되고, 세부 상태는 Idle이 됨 |
클러스터 확장(Scaling Out) 성공 시
| 상태 | 세부 상태 | 설명 |
|---|---|---|
| Running | Idle | 일부 데이터 노드가 불능 상태일 수 있으나 클러스터는 정상 동작 중 |
| Scaling Out | Provisioning New Nodes | 추가 데이터 노드를 프로비저닝 중 |
| Scaling Out | Add Node Traffic | 클러스터 Health Check 및 nginx 설정을 전체 데이터 노드 기준으로 업데이트 |
| Scaling Out | Done | 클러스터 확장이 성공하면 클러스터는 다시 Running 상태가 되고, 세부 상태는 Idle이 됨 |
Scaling Up/Out 진행 중 오류로 인한 Rollbacking 시
클러스터 확장 또는 인스턴스 유형 변경(Scaling Up/Out) 진행 중 오픈서치 클러스터 쪽에서 Provisioning Error가 발생하면, 클러스터는 바로 Rollbacking 상태로 전환되며 이후 세부 상태가 순차적으로 변경됩니다.
| 상태 | 세부 상태 | 설명 |
|---|---|---|
| Running | Idle | 클러스터가 Running 상태일 때의 세부 상태 (Scaling Up/Out 진입점) |
| Scaling Up/Out | Provisioning New Nodes | 인스턴스 유형 변경 또는 클러스터 확장 진행 중 |
| Rollbacking | Reverting Desired Spec | 오픈서치 클러스터 쪽에서 Provisioning Error 발생 시, AMS 클러스터는 바로 Rollbacking 상태로 돌입 → 이후 세부 상태가 순차적으로 변경됨 |
| Rollbacking | Excluding Surplus Nodes | 롤백으로 불필요해진 surplus 노드를 allocation에서 제외하는 중 |
| Rollbacking | Deleting Surplus Nodes | surplus 노드를 DB에서 삭제 중 |
| Rollbacking | Reverting Traffic | nginx 설정을 요청 이전 상태의 노드 기준으로 되돌려 트래픽 원복 중 |
| Rollbacking | Verifying Cluster | 요청 이전 상태의 데이터 노드가 모두 Running 상태이며 전체 노드가 정상인지 최종 확인 중 |
| Rollbacking | Done | Rollbacking 세부 상태가 Done이 되면, 클러스터는 다시 Running 상태가 되고 세부 상태는 Idle이 됨 |
Rollbacking이 완료되어 다시 Running / Idle 상태가 된 경우에는 클러스터 상태 항목의 Running 옆에 경고 아이콘이 표시되며, 아이콘에 마우스를 올리면 다음 안내 문구를 확인할 수 있습니다.
클러스터 확장 또는 인스턴스 유형 변경에 실패했습니다. 요청 전 상태로 되돌린 후 정상 동작 중입니다.
클러스터 정보 조회
프로젝트 내 생성한 클러스터 정보를 확인할 수 있습니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Search 메뉴로 이동합니다.
-
클러스터 메뉴에서 상세 정보를 확인할 클러스터 이름을 클릭합니다.
-
탭에서 상세 정보를 확인합니다.
상단 정보
항목 설명 비고 상태 현재 클러스터의 상태 상세 정보는 클러스터 수명주기 및 상태 참고 세부 상태 현재 클러스터의 세부 상태 상세 설명은 클러스터 상태 및 세부 상태 참고 OpenSearch 버전 사용 중인 OpenSearch 버전 엔드포인트 OpenSearch 클러스터에 API 방식으로 접근하기 위한 접속 주소 엔드포인트 접근 시에는 클러스터 생성 시 설정한 마스터 사용자 계정 또는 권한이 부여된 사용자 계정을 통해 인증 필요 OpenSearch 대시보드 OpenSearch Dashboards에 접속하기 위한 주소 클러스터 생성 시 설정한 마스터 사용자 계정으로 로그인 필요
- OpenSearch 및 OpenSearch Dashboards 외부 접근 (nginx) 참고세부 정보 탭
항목 정보 설명 클러스터 클러스터 이름 클러스터 생성 시 사용자가 지정한 이름 클러스터 ID 클러스터의 리소스 ID 마스터 사용자 ID 클러스터 생성 시 입력된 마스터 사용자 ID VPC 클러스터 생성 시 사용자가 선택한 사용자 VPC 생성자 클러스터 생성을 요청한 사용자 서브넷 클러스터 생성 시 사용자가 선택한 사용자 서브넷 생성일시 클러스터 생성 일시 보안 그룹 클러스터 생성 시 사용자가 설정한 보안 그룹 목록 데이터 노드 가용 영역 수 클러스터 생성 시 사용자가 구성한 네트워크 설정에 따른 가용 영역 수 가용 영역당 데이터 노드 수 가용 영역당 배치된 데이터 노드 수와 총 노드 수
- 총 노드 수:가용 영역 수 * 노드 수인스턴스 유형 클러스터 생성 시 사용자가 선택한 데이터 노드의 인스턴스 사양 총 볼륨 크기(노드당 볼륨 크기) 총 볼륨 크기와 노드당 할당된 볼륨 크기 클러스터 매니저 노드 인스턴스 유형 클러스터 생성 시 사용자가 선택한 클러스터 매니저 노드의 인스턴스 사양 클러스터 매니저 노드 수 매니저 노드 수 및 배치된 가용 영역 확인 로그 수집 로그 수집 중인 로그 종류 확인 로그 조회 Monitoring 서비스의 로그 탐색기로 이동하여 로그 조회 가능 인스턴스 탭
항목 정보 설명 데이터 노드 이름 데이터 노드 생성 시 카카오클라우드에서 생성하는 이름
- 모니터링 탭에서 차트 조회 시 범례에서 데이터 노드 이름 확인 가능ID 데이터 노드의 리소스 ID 상태 현재 데이터 노드의 상태
- 상세 상태값 정보는 데이터 노드 수명주기 및 상태 참고인스턴스 유형 클러스터 생성 시 사용자가 선택한 데이터 노드의 인스턴스 사양 가용 영역 데이터 노드가 배치된 가용 영역 볼륨 크기 데이터 노드에 할당된 볼륨 크기 클러스터 매니저 노드 이름 클러스터 매니저 노드 생성 시 카카오클라우드에서 생성하는 이름
- 모니터링 탭에서 차트 조회 시 범례에서 클러스터 매니저 노드 이름 확인 가능ID 클러스터 매니저 노드의 리소스 ID 상태 현재 클러스터 매니저 노드의 상태
- 상세 상태값 정보는 클러스터 매니저 노드 수명주기 및 상태 참고인스턴스 유형 클러스터 생성 시 사용자가 선택한 클러스터 매니저 노드의 인스턴스 사양 가용 영역 클러스터 매니저 노드가 배치된 가용 영역 모니터링 탭
구분 설명 데이터 기간 모니터링 그래프에 표시할 데이터 기간
- 1시간 전(기본값) / 3시간 전 / 12시간 전 / 1일 전 / 7일 전조회 항목 모니터링 조회 항목 선택
- Cluster / Data Node / Cluster Manager Node
- 전체 선택(기본값)
- 항목 복수 선택 가능보기 모드 모니터링 그래프 보기 모드 설정
- 1단 보기, 2단 보기 제공자동 새로고침 주기 자동 새로고침 주기 설정
- 자동 새로고침 안 함(기본값) / 10초 / 30초 / 1분 / 5분수동 새로고침 새로고침 버튼 클릭 시 모니터링 결과 새로고침 모니터링 데이터
항목 모니터링 데이터 설명 Cluster Number of Shards by State 클러스터 내 샤드의 상태별 개수 Cluster Active Shards Percentage 전체 샤드 중 정상적으로 활성화된 샤드의 비율 Cluster Indexed Documents (5m Interval) 최근 5분 동안 성공적으로 인덱싱된 문서 수 Cluster Failed Indexed Documents (5m Interval) 최근 5분 동안 인덱싱에 실패한 문서 수 Cluster Search Queries latency 검색 쿼리의 평균 응답 지연 시간 Cluster Search Queries per Second 초당 처리된 검색 쿼리 수 Cluster Total Active Documents 클러스터에 저장되어 현재 검색 가능한 전체 문서 수 Cluster Thread Pool Queue Size OpenSearch 스레드 풀에 대기 중인 작업 수 Cluster Thread Pool Rejected Request Count (5m Interval) 최근 5분 동안 스레드 풀 용량 초과로 인해 거부된 요청 수 Cluster Circuit Breaker Trip Count per Second 메모리 보호를 위해 서킷 브레이커가 동작한 초당 횟수 Data Node OpenSearch Process CPU Usage (%) 데이터 노드에서 OpenSearch 프로세스가 사용하는 CPU 사용률 Data Node System Memory Usage (%) 데이터 노드의 전체 시스템 메모리 사용률 Data Node System Memory Usage (Bytes) 데이터 노드가 사용하는 전체 시스템 메모리 사용량 Data Node Heap Usage (%) 데이터 노드 JVM 힙 메모리의 사용 비율 Data Node Heap Usage (Bytes) 데이터 노드 JVM 힙 메모리의 실제 사용량 Data Node Young GC Count (1m Interval) 최근 1분 동안 데이터 노드에서 발생한 Young GC 횟수 Data Node Old GC Count (1m Interval) 최근 1분 동안 데이터 노드에서 발생한 Old GC 횟수 Data Node Disk Usage Watermark (%) 클러스터에 설정된 Disk Watermark 임계값과 데이터 노드의 현재 디스크 사용률을 퍼센트 기준으로 표시 Data Node Disk Usage Watermark (Bytes) 클러스터에 설정된 Disk Watermark 임계값과 데이터 노드의 현재 디스크 사용량을 바이트 기준으로 표시 Cluster Manager Node OpenSearch Process CPU Usage (%) 클러스터 매니저 노드에서 OpenSearch 프로세스의 CPU 사용률 Cluster Manager Node System Memory Usage (%) 클러스터 매니저 노드의 시스템 메모리 사용률 Cluster Manager Node System Memory Usage (Bytes) 클러스터 매니저 노드가 사용하는 전체 시스템 메모리 사용량 Cluster Manager Node Heap Usage (%) 클러스터 매니저 노드 JVM 힙 메모리의 사용 비율 Cluster Manager Node Heap Usage (Bytes) 클러스터 매니저 노드 JVM 힙 메모리의 실제 사용량 Cluster Manager Node Young GC Count (1m Interval) 최근 1분 동안 클러스터 매니저 노드에서 발생한 Young GC 횟수 Cluster Manager Node Old GC Count (1m Interval) 최근 1분 동안 클러스터 매니저 노드에서 발생한 Old GC 횟수
볼륨 확장
데이터 증가로 인해 저장 공간이 부족한 경우, 데이터 노드에 할당된 볼륨 크기를 확장하여 클러스터의 안정적인 운영을 유지할 수 있습니다.
볼륨 확장은 클러스터 중단이나 노드 재시작 없이 수행되며, 기존 데이터와 검색 서비스에 영향을 주지 않고 저장 공간을 동적으로 늘릴 수 있습니다.
볼륨 확장은 저장 용량 증가를 의미하며, 인스턴스 사양에 따른 CPU 및 메모리 리소스는 변경되지 않습니다. 검색 성능 향상이 필요한 경우 데이터 노드 확장을 함께 고려하시기 바랍니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Search 메뉴로 이동합니다.
-
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
-
우측 상단에 위치한 [볼륨 확장] 버튼을 클릭합니다.
-
볼륨 확장 설정에서 볼륨을 확장하고 [저장] 버튼을 클릭합니다.
항목 설명 클러스터 이름 선택한 클러스터의 이름 확인 데이터 노드 수 선택한 클러스터 내 총 데이터 노드 수 확인 현재 총 볼륨 크기 현재 총 볼륨 크기 및 데이터 노드당 볼륨 크기 확인 데이터 노드 볼륨 크기 데이터 노드당 확장할 볼륨 크기 지정
클러스터 확장
검색 트래픽 증가 또는 색인 데이터 확장에 대응하기 위해 클러스터 확장을 통해 데이터 노드 수를 늘릴 수 있습니다.
클러스터 확장 시 OpenSearch의 샤드 재배치가 자동으로 수행되며, 이 과정에서 일시적인 성능 변동이 발생할 수 있습니다.
확장을 통해 검색 처리량과 색인 성능을 향상시킬 수 있으며, 대규모 데이터 워크로드 환경에서도 안정적인 서비스 운영이 가능합니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Search 메뉴로 이동합니다.
-
클러스터 메뉴에서 확장할 클러스터를 선택합니다.
-
우측 상단에 위치한 [클러스터 확장] 버튼을 클릭합니다.
-
클러스터 확장 설정에서 데이터 노드 수를 확장하고 [저장] 버튼을 클릭합니다.
항목 설명 클러스터 이름 선택한 클러스터의 이름 확인 가용 영역 수 선택한 클러스터의 가용 영역 수 확인 가용 영역 선택한 클러스터의 가용 영역 확인 현재 총 데이터 노드 수 현재 총 데이터 노드 수 및 가용 영역당 데이터 노드 수 확인 데이터 노드 수 가용 영역당 확장할 데이터 노드 수 지정
인스턴스 유형 변경
데이터 노드의 검색 처리 성능을 향상시켜야 하는 경우, 인스턴스 유형 변경을 통해 데이터 노드의 사양을 상향할 수 있습니다.
인스턴스 유형 변경은 클러스터 중단 없이 수행되며, 변경 시 클러스터 가용성은 유지되나 일시적으로 성능에 영향을 미칠 수 있습니다.
- 인스턴스 유형은 현재 유형보다 높은 사양으로만 변경할 수 있으며, 더 낮은 사양으로는 변경할 수 없습니다.
- 현재 인스턴스 유형이 지원 중인 최고 사양(c2a.8xlarge)인 경우, 변경할 인스턴스 유형을 선택할 수 없습니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Search 메뉴로 이동합니다.
-
클러스터 메뉴에서 인스턴스 유형을 변경할 클러스터를 선택합니다.
-
우측 상단에 위치한 [인스턴스 유형 변경] 버튼을 클릭합니다.
-
인스턴스 유형 변경에서 변경할 인스턴스 유형을 선택하고 [저장] 버튼을 클릭합니다.
항목 설명 클러스터 이름 선택한 클러스터의 이름 확인 데이터 노드 수 선택한 클러스터의 총 데이터 노드 수 확인 현재 인스턴스 유형 데이터 노드에 현재 적용된 인스턴스 유형 확인 변경할 인스턴스 유형 변경할 인스턴스 유형 선택
- 현재 인스턴스 유형보다 높은 사양의 인스턴스 유형만 선택 가능
- 현재 인스턴스 유형이 최고 사양(c2a.8xlarge)인 경우 선택 영역이 비활성화되며 안내 문구가 표시됨제공 인스턴스 유형 및 변경 정책
현재 인스턴스 유형 변경 가능한 인스턴스 유형 c2a.2xlarge c2a.4xlarge, c2a.8xlarge c2a.4xlarge c2a.8xlarge c2a.8xlarge 변경 불가 (지원 중인 최고 사양)
클러스터 삭제
더 이상 사용하지 않는 클러스터를 삭제할 수 있습니다.
삭제한 클러스터 내 노드와 할당된 볼륨이 완전히 반납되어 복구할 수 없으니 주의하시기 바랍니다.
-
카카오클라우드 콘솔 > Analytics > Advanced Managed Search 메뉴로 이동합니다.
-
클러스터 메뉴에서 삭제할 클러스터를 선택합니다.
-
팝업창에서 삭제할 클러스터의 이름을 입력하고 [삭제] 버튼을 클릭합니다.