엔드포인트 상세 조회 및 모니터링

엔드포인트 상세 화면에서는 기본 정보뿐 아니라 로그, 상세 설정, 요청 및 토큰 사용량, 시스템 리소스 지표를 확인할 수 있습니다.

1. AI Service > Advanced AI Space 메뉴로 이동합니다.

2. 엔드포인트 메뉴를 클릭합니다.

3. 확인할 엔드포인트의 이름을 클릭합니다.

4. 엔드포인트 상세 화면에서 확인할 영역을 선택합니다.

   영역	설명
   세부 정보	상태, 모델 정보, 도메인 ID, 엔드포인트 URL, 인스턴스 유형, 프로파일 정보, Replica 수와 생성 일시
   로그 조회	엔드포인트를 구성하는 Pod 및 모델 실행 로그
   상세 설정	Logging 사용 여부 및 엔드포인트에 등록된 API 제한 설정(Tier)
   Request/토큰 사용량	엔드포인트·API 키별 요청 수, 토큰 사용량, 쿼터 사용률
   모니터링	Pod별 GPU, CPU, 메모리, 네트워크 지표

로그 조회

Pod 목록에서 확인할 Pod를 선택합니다. 화면에는 최근 1,000줄의 로그가 표시되며, 이후 발생하는 로그를 실시간으로 확인할 수 있습니다.

로그	설명
Pod 로그	모델 서버 시작 과정 및 추론 요청 처리 로그
Storage Initializer	엔드포인트 시작 시 모델 파일·컨테이너 이미지 등 실행 항목 준비 로그

Object Storage 로깅을 사용하는 엔드포인트는 상세 설정 영역에서 설정 상태와 버킷 정보를 확인할 수 있습니다.

상세 설정

상세 설정에서는 다음 항목을 확인합니다.

• Object Storage 로깅 사용 여부
• 엔드포인트에 등록된 API 제한 설정(Tier)
• Tier별 전체 요청, 입력 토큰, 출력 토큰 제한과 초기화 설정

설정을 변경하려면 엔드포인트의 더보기 메뉴에서 [수정]을 클릭합니다.

Request/토큰 사용량

조회 기간을 선택하여 다음 지표를 확인할 수 있습니다.

• Input Token
• Output Token
• Total Token
• Total Request
• Error Rate
• Cache Hit Rate

API 키별 사용량에서는 엔드포인트에 연결된 API 키 이름, 적용 Tier, 토큰 사용량, 전체 요청 수와 쿼터 사용률을 확인할 수 있습니다. Tier를 적용하지 않은 연결에는 쿼터 사용률이 표시되지 않습니다.

모니터링

확인할 Pod와 조회 기간, 새로고침 조건을 선택하여 다음 리소스 지표를 확인합니다.

• GPU 사용량과 GPU 메모리
• CPU 사용량
• 메모리 사용량
• 네트워크 송수신량

지표의 시간 범위를 변경하거나 새로고침하여 엔드포인트의 현재 상태와 추이를 확인할 수 있습니다.