엔드포인트
엔드포인트 생성 및 관리
모델 카탈로그에 등록된 모델(기본 제공 모델 또는 커스텀 모델)을 선택하여 엔드포인트를 생성할 수 있습니다.
엔드포인트 목록 확인
- 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
- 엔드포인트 메뉴를 클릭하여 엔드포인트 목록을 확인합니다.
구분 설명 필터 필터를 통해 엔드포인트 이름/사용한 모델 정보로 검색 이름 엔드포인트 생성 시 등록한 이름 상태 엔드포인트의 현재 상태
-Creating,Active (unhealthy),Active,Updating,Deleting,Stopping,Stopped,Failed
- 각 상태값에 대한 자세한 설명은 엔드포인트 상태 관리 참고모델 정보 엔드포인트에 활용된 모델 정보 배포된 모델 버전 엔드포인트에 적용된 모델 버전(Revision) 정보 업데이트 일시 엔드포인트가 업데이트된 일시(신규 Revision 적용, 수정 등) 생성 일시 엔드포인트가 생성된 일시
엔드포인트 생성
-
카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
-
엔드포인트 메뉴를 클릭한 후, [엔드포인트 생성] 버튼을 클릭합니다.
-
필요한 정보 입력 후, [생성] 버튼을 클릭합니다.
구분 설명 엔드포인트 이름 엔드포인트 이름 입력(최대 30자) 모델 선택 기본 제공 모델 또는 생성한 커스텀 모델 중 선택 도메인 ID 엔드포인트 URL에 포함할 도메인 ID 입력
- 도메인 ID가 기존 엔드포인트와 중복될 경우 무작위로 DNS Safe 접미사가 생성됨
엔드포인트 상세 보기
- 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
- 엔드포인트 메뉴를 클릭하고, 엔드포인트 목록을 확인합니다.
- 엔드포인트 이름을 선택하여 상세 화면으로 이동 후 정보를 확인합니다.
구분 설명 엔드포인트 상태 엔드포인트의 현재 상태 모델 정보 엔드포인트에 활용된 모델 정보 생성 일시 엔드포인트가 생성된 일시
엔드포인트 상세 탭별 정보
- 세부 정보
- 로그 조회
- 모니터링
엔드포인트의 기본적인 세부 정보를 확인할 수 있습니다.
| 구분 | 설명 |
|---|---|
| 도메인 ID | 엔드포인트 생성 시 입력한 도메인 ID 정보 |
| 엔드포인트 URL | 사용 가능한 엔드포인트 URL 정보 |
| 인스턴스 유형 | 엔드포인트가 동작하고 있는 인스턴스 유형 |
| 프로파일 정보 | 엔드포인트가 동작하고 있는 인스턴스의 프로파일 정보 |
| replica 수 | 엔드포인트를 구성하는 파드(pod)의 개수 |
엔드포인트에서 발생하는 로그를 조회할 수 있으며, 추론 요청 처리 과정과 서비스 동작 상태를 확인할 수 있습니다.
(Pod 선택 시, 상세 로그 팝업이 노출되며 정보를 확인할 수 있습니다.)
안내
로그는 별도 저장되지 않으며, 최근 1,000 라인의 로그가 표시되고 이후에는 실시간 로그가 표시됩니다.
| 구분 | 설명 |
|---|---|
| Pod 로그 | 추론 요청 처리 과정과 서비스 동작 상태를 확인할 수 있는 로그 |
| Storage Initializer | 엔드포인트 시작 시 모델 아티팩트(예: Docker Image, Object Storage의 모델 파일 등)를 불러오는 과정에서 생성되는 로그 |
엔드포인트가 사용하는 CPU, 메모리, GPU 자원 현황과 성능 지표를 실시간으로 확인할 수 있습니다.
| 구분 | 설명 |
|---|---|
| 필터 | 엔드포인트가 생성되어 있는 자원 자동 선택 |
| 데이터기간 | 조회할 모니터링 지표 기간 - 기간: 1시간(기본값) / 3시간 / 12시간 / 1일 / 7일 |
| 자동 새로고침 주기 | 자동 새로고침 주기 설정 - 주기: 자동 새로고침 안 함(기본값) / 10초 / 30초 / 1분 / 5분 |
| 수동 새로고침 | 클릭 시, 모니터링 결과 새로고침 |
모니터링 제공 데이터
| Metric Name | 설명 | Unit |
|---|---|---|
| CPU 사용량 | CPU 사용량 | millicores |
| Memory 사용량 | CPU 메모리 사용량 | bytes |
| Graphic Engine Active Percent | 그래픽 엔진이 활동하는 시간 비율 | % |
| Tensor Core Utilization | Tensor (HMMA) 파이프가 활성화되는 주기 비율 | % |
| DRAM ACTIVE Percent | 장치 메모리 인터페이스에서 데이터를 보내거나 받는 활동 주기 비율 | % |
| GPU Framebuffer Mem Usage | GPU 프레임버퍼 메모리 사용률 | % |
| GPU Framebuffer Mem Used | GPU 프레임버퍼 메모리 사용량 | MiB |
| GPU Framebuffer Mem Free | 사용 가능한 GPU 프레임버퍼 메모리 | MiB |
| GPU SM Clocks | GPU SM 클럭 주파수 | MHz |
| GPU Temperature | GPU 온도 | ℃ |
| GPU Power Usage | GPU 전력 소비 | W |
엔드포인트 수정 및 비활성화
안내
엔드포인트를 비활성화하면 해당 엔드포인트에 할당된 자원이 종료되며, 서비스 요청을 처리할 수 없는 상태가 됩니다.
- 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
- 엔드포인트 메뉴를 클릭하고, 엔드포인트 목록을 확인합니다.
- 엔드포인트 이름을 선택하여 상세 화면으로 이동 후 [수정] 버튼을 클릭합니다.
- 수정 팝업에서 엔드포인트 이름과 엔드포인트 활성화를 수정 후 [수정] 버튼을 클릭합니다.
엔드포인트 삭제
- 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
- 엔드포인트 메뉴를 클릭하고, 엔드포인트 목록을 확인합니다.
- 엔드포인트 이름을 선택하여 상세 화면으로 이동 후 [삭제] 버튼을 클릭합니다.
- 삭제 팝업에서 영구 삭제를 입력 후 [삭제] 버튼을 클릭합니다.
신규 버전 적용
안내
신규 모델 버전이 등록되지 않은 경우, 모델 버전 항목은 비어 있으며 신규 버전을 적용하면 이전 버전으로 원복할 수 없습니다. 원복이 필요한 경우에는 이전 정보를 기반으로 새로운 버전을 다시 등록해야 합니다.
- 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
- 엔드포인트 메뉴를 클릭하고, 엔드포인트 목록을 확인합니다.
- 엔드포인트 이름을 선택하여 상세 화면으로 이동 후 [신규버전 적용] 버튼을 클릭합니다.
- 신규버전 적용 팝업에서 모델 버전 선택 후 [적용] 버튼을 클릭합니다.