인덱스 관리

Advanced Managed Search(OpenSearch)는 인덱스의 생성 이후에도 데이터 운영 및 관리 목적에 따라 다양한 인덱스 관리 기능을 제공합니다.
이 페이지에서는 Advanced Managed Search에서 지원하는 인덱스 관리 기능과 각 기능의 활용 목적을 간략히 설명합니다.

지원하는 인덱스 관리 기능

Advanced Managed Search에서는 다음과 같은 인덱스 관리 기능을 지원합니다.

• 인덱스 상태 관리
• 인덱스 롤업
• 인덱스 변환
• 원격 재색인(Remote Reindex)
• 데이터 스트림(Data Stream)

각 기능에 대한 상세 동작 방식과 API 사용 방법은 OpenSearch 공식 문서를 참고하시기 바랍니다.

인덱스 상태 관리

인덱스 상태 관리는 인덱스의 라이프사이클을 기반으로 읽기/쓰기 상태, 보관 정책 등을 관리할 수 있는 기능입니다. 이를 통해 다음과 같은 운영이 가능합니다.

• 일정 기간 이후 인덱스를 읽기 전용(Read-only)으로 전환
• 오래된 인덱스의 자동 삭제 또는 보관 정책 적용
• 데이터 증가에 따른 운영 비용 및 성능 최적화

인덱스 롤업

인덱스 롤업은 대량의 시계열 데이터를 요약(집계)하여 저장 용량을 줄이고 분석 효율을 높이는 기능입니다. 주로 다음과 같은 경우에 활용됩니다.

• 로그, 메트릭 데이터의 장기 보관
• 상세 데이터 대신 요약 데이터 기반 분석
• 스토리지 비용 절감

인덱스 변환

인덱스 변환은 기존 인덱스를 기반으로 새로운 구조의 인덱스를 생성하는 기능입니다. 이를 통해 다음과 같은 작업이 가능합니다.

• 기존 데이터 구조 변경
• 특정 필드만 추출한 새로운 인덱스 생성
• 데이터 가공 및 재구성

원격 재색인

원격 재색인은 다른 OpenSearch 클러스터 또는 외부 OpenSearch 환경에 존재하는 인덱스 데이터를 현재 클러스터로 복사(재색인)하는 기능입니다.

모든 문서 재색인 예시

POST _reindex
{
  "source": {
    "index": "source"
  },
  "dest": {
    "index": "destination"
  }
}

원격 클러스터에서 재색인 예시

POST _reindex
{
   "source":{
      "remote":{
         "host":"61.123.22.33:443",
         "username":"YOUR_USERNAME",
         "password":"YOUR_PASSWORD"
      },
      "index": "source"
   },
   "dest":{
      "index":"destination"
   }
}

원격 클러스터에서 재색인 시 유의사항

Advanced Managed Search에서 생성한 VPC 엔드포인트는 원격 호스트(remote host)로 사용할 수 없습니다. 원격 재색인을 수행하려면 다음 조건을 반드시 충족해야 합니다.

• 원격 OpenSearch 클러스터는 Public IP 를 통해 접근 가능해야 합니다.
• 프록시 또는 네트워크 구성을 통해 Public IP 기반 접근이 가능해야 합니다.
• 대상 목적지(AMS 클러스터)의 방화벽(Security Group)에서 원격 클러스터 IP(61.109.236.21)를 허용해야 합니다.

안내

원격 재색인 수행 전, 네트워크 접근 정책과 보안 설정을 반드시 확인하시기 바랍니다. 접근 허용이 설정되지 않은 경우 재색인 요청은 실패할 수 있습니다.

데이터 스트림

데이터 스트림은 시계열 데이터 수집을 위해 설계된 논리적 인덱스 구조입니다. 여러 개의 백엔드 인덱스를 하나의 스트림으로 관리하여 다음과 같은 이점을 제공합니다.

• 지속적으로 유입되는 데이터의 효율적인 관리
• 자동 인덱스 생성 및 롤오버
• 로그 및 이벤트 데이터 처리에 적합한 구조 제공