머신러닝

Advanced Managed Search(OpenSearch)는 OpenSearch Machine Learning(ML) 기능을 통해 데이터 분석, 이상 탐지, 벡터 검색, 의미 기반 검색 등 다양한 머신러닝 기반 기능을 제공합니다.
이 페이지에서는 Advanced Managed Search에서 제공하는 머신러닝 기능의 개요와 운영 시 유의해야 할 사항을 간략히 설명합니다.

머신러닝 기능 개요

OpenSearch의 머신러닝 기능은 클러스터 내에서 모델을 실행하고, 검색 및 분석 워크플로우에 머신러닝 기반 처리를 결합할 수 있도록 지원합니다.
Advanced Managed Search에서는 OpenSearch에서 제공하는 머신러닝 기능을 모두 지원하며, 다음과 같은 활용이 가능합니다.

머신러닝으로 할 수 있는 작업

Advanced Managed Search의 머신러닝 기능을 활용하면 다음과 같은 작업을 수행할 수 있습니다.

• 이상 탐지(Anomaly Detection)

  • 시계열 데이터 기반 이상 패턴 탐지
  • 로그, 메트릭, 트래픽 데이터의 비정상 동작 감지

• 자연어 처리(NLP) 기반 분석

  • 텍스트 임베딩 생성
  • 의미 기반 검색 및 질의 확장

• 벡터 검색 연계

  • 머신러닝 모델을 활용한 임베딩 생성
  • 벡터 검색 기능과 결합한 유사도 검색 수행

• 모델 관리 및 실행

  • 머신러닝 모델 등록 및 관리
  • 검색·분석 파이프라인에서 모델 호출

머신러닝 사용 흐름

머신러닝 기능은 일반적으로 다음과 같은 흐름으로 활용됩니다.

1. 모델 준비

   • 사전 학습된 모델 또는 외부에서 생성한 모델 준비

2. 모델 등록

   • OpenSearch 머신러닝 기능을 통해 모델 등록

3. 모델 실행

   • 검색, 분석, 이상 탐지 작업에 모델 적용

4. 결과 활용

   • 검색 정확도 향상
   • 이상 탐지 결과 기반 알림 및 분석

머신러닝 기능 상세 사용 방법

머신러닝 API, 모델 등록 방식, 이상 탐지 설정, 벡터 임베딩 생성 등 상세한 사용 방법과 예제는 OpenSearch 공식 문서를 참고하시기 바랍니다.

사용 시 주의사항

Advanced Managed Search에서는 머신러닝 기능을 안정적으로 제공하기 위해 다음 사항을 반드시 유의해야 합니다.

주의

production 환경에서 plugins.ml_commons.only_run_on_ml_node: false 클러스터 설정은 사용하지 마시기 바랍니다.

이 옵션은 data node 의 안정성을 떨어트릴 수 있습니다. 대신 connector 설정을 통해 사용하시기 바랍니다.

안내

운영(Production) 환경에서는 Connector 사용을 권장합니다.

프로덕션 환경에서 직접 모델을 호출하거나 외부 연계를 수행하는 경우, Connector를 활용하여 머신러닝 워크로드를 분리하고 클러스터 안정성과 보안을 강화하는 구성을 권장합니다.

머신러닝 관련 튜토리얼은 OpenSearch 기반 AI 활용을 참고해 주세요.