AI 워크로드 운영 가시성을 높이는 AI Insight 서비스 출시
AI 모델 학습과 추론 환경에서는 연산 리소스, 실행 환경, 노드 상태가 서로 맞물려 워크로드 성능과 비용에 영향을 줍니다. 특히 GPU는 AI 워크로드에서 중요한 비중을 차지하지만, 운영 환경이 커질수록 리소스가 실제로 사용 중인지, 유휴 상태로 남아 있는지, 이상 징후가 발생했는지 서비스별 화면만으로 파악하기는 쉽지 않습니다.
2026년 7월, 카카오클라우드는 AI 워크로드 운영에 필요한 리소스 상태와 주요 메트릭을 통합적으로 확인할 수 있는 AI Insight 서비스를 출시했습니다. AI Insight는 클러스터, 노드, GPU 단위의 상태와 주요 메트릭을 통합적으로 모니터링하여 AI 워크로드의 운영 현황을 한눈에 확인할 수 있도록 지원하는 AI 관제 서비스입니다.
이번 포스트에서는 AI 워크로드 운영자가 자주 마주하는 운영 과제를 살펴보고, AI Insight를 통해 이를 어떻게 해결할 수 있는지 소개합니다.
핵심 리소스 현황을 한눈에 보고 싶을 때
AI 워크로드를 운영하다 보면 가장 먼저 필요한 것은 핵심 리소스의 전체 현황을 빠르게 파악하는 일입니다. 이번 릴리즈에서는 AI 워크로드에서 중요한 비중을 차지하는 GPU를 중심으로, 사용 중인 리소스가 몇 개인지, 어떤 리소스가 유휴 상태인지, 점검이 필요한 대상이 있는지 한 화면에서 확인할 수 있도록 지원합니다.
AI Insight는 관제 대상의 상태를 Active, Idle, Warning, Critical, Pending, Agent Missing으로 구분해 보여줍니다. 또한 총 GPU 수, 클러스터 수, 노드 수와 함께 평균 부하율, 평균 메모리 사용률, 평균 온도, ECC Error 수를 제공해 이번 릴리즈에서 지원하는 리소스 운영 상태를 빠르게 확인할 수 있습니다.
AI Insight > Overview
예를 들어 다음과 같은 질문에 답할 수 있습니다.
- 현재 전체 GPU 중 정상적으로 사용 중인 리소스는 얼마나 될까?
- 학습 작업이 끝난 뒤 유휴 상태로 남아 있는 GPU는 없을까?
- Warning 또는 Critical 상태로 확인이 필요한 GPU는 어디일까?
- 메트릭 수집 구성 요소가 정상 동작하지 않는 리소스는 없을까?
이상 징후가 있는 대상을 빠르게 좁히고 싶을 때
운영 중인 리소스가 많아지면 전체 목록을 하나씩 확인하는 방식으로는 우선 점검 대상을 찾기 어렵습니다. AI Insight는 GPU Map을 통해 GPU, 클러스터, 노드 기준으로 리소스를 시각화하고 상태별로 구분해 보여줍니다.
GPU Map에서는 상태별 색상으로 리소스를 구분하고, 특정 GPU 또는 MIG 인스턴스를 선택하면 우측 패널에서 주요 상태와 이벤트 정보를 바로 확인할 수 있습니다.
사용자는 Warning 또는 Critical 상태의 리소스를 선택해 GPU 부하율, GPU 메모리 사용률, GPU 온도, ECC Error, XID Event Code, Throttle Event 등을 바로 확인할 수 있습니다. 이를 통해 문제가 있는 리소스를 먼저 좁히고, 필요한 경우 상세 화면에서 원인을 이어서 분석할 수 있습니다.
문제 원인을 리소스 계층별로 분석하고 싶을 때
점검 대상이 정해진 뒤에는 어느 계층에서 문제가 시작됐는지 확인해야 합니다. 연산 리소스 자체의 문제일 수도 있고, 실행 노드의 CPU, 메모리, 디스크, 네트워크 병목이 워크로드에 영향을 주는 상황일 수도 있습니다.
AI Insight는 이번 릴리즈에서 클러스터, 노드, GPU 단위의 상세 메트릭을 제공해 문제 범위를 단계적으로 좁힐 수 있도록 돕습니다. 클러스터 단위에서는 전체 리소스 패턴을 비교하고, 노드 단위에서는 CPU, 메모리, 디스크, 네트워크 상태를 함께 확인할 수 있습니다. GPU 단위에서는 개별 GPU 또는 MIG 인스턴스의 사용률, 메모리 사용률, 온도, 유휴율, Throttling, ECC Error 추이를 확인할 수 있습니다.
GPU Explorer에서는 선택한 클러스터, 노드, GPU를 기준으로 시간 범위별 메트릭 추이와 이상치, 상관관계를 함께 확인할 수 있습니다.
AI Insight > GPU Explorer > GPU 모니터링
이 과정에서 특정 리소스만 다른 패턴을 보이는지, 사용률 대비 온도가 높은 대상이 있는지, 노드 시스템 리소스 병목이 함께 나타나는지 확인할 수 있습니다.
여러 실행 환경을 같은 기준으로 확인하고 싶을 때
AI 워크로드는 Kubernetes Engine 기반 GPU 노드에서 실행될 수도 있고, Virtual Machine 기반 GPU 노드에서 실행될 수도 있습니다. 운영자는 실행 환경이 달라도 GPU 상태와 주요 메트릭을 같은 기준으로 확인할 수 있어야 합니다.
AI Insight는 Kubernetes Engine(KE) 기반 GPU 노드와 Virtual Machine(VM) 기반 GPU 노드를 모두 확인할 수 있도록 설계되었습니다.
대상 환경에 Metric Exporter 또는 모니터링 에이전트를 설치하면, AI Insight에서 GPU 메트릭을 수집하고 콘솔 화면에 표시합니다.
다만 메트릭 수집 구성 요소가 설치되어 있지 않거나 정상적으로 동작하지 않는 경우에는 해당 리소스가 Agent Missing 상태로 표시될 수 있습니다. 이 경우 Metric Exporter 설치 문서를 참고해 수집 구성을 먼저 확인해 주세요.
AI Observability 서비스로의 확장
AI Insight는 GPU 관제를 시작으로 AI 워크로드 운영에 필요한 핵심 리소스의 상태를 한눈에 확인하고, 이상 징후의 원인을 보다 빠르게 분석할 수 있도록 지원하는 서비스입니다.
AI 워크로드가 복잡해질수록 운영에 필요한 것은 더 많은 정보가 아니라, 필요한 정보를 적시에 확인하고 원인을 빠르게 파악할 수 있는 가시성(Visibility)입니다. 카카오클라우드는 AI Insight를 시작으로 AI 워크로드 전반의 운영 가시성을 확대하고, AI Observability 서비스를 지속적으로 고도화해 나가겠습니다.