Advanced AI Space 개요
안내
본 서비스는 사전 신청 고객에 한해 제공됩니다.
이용을 원하시면 헬프데스크 > 기타 문의에서 ‘Advanced AI Space 사용 신청’을 남겨 주세요. (단, 승인까지 일정 시간이 소요될 수 있습니다.)
카카오클라우드의 Advanced AI Space는 AI 모델을 전용 추론 엔드포인트로 배포하고 운영할 수 있는 서비스입니다. 모델 카탈로그에서 기본 제공 모델을 선택하거나 커스텀 모델을 등록한 뒤, GPU 리소스가 할당된 엔드포인트를 생성하여 애플리케이션에 AI 추론 기능을 연결할 수 있습니다.
사용 사례
- 챗봇, 요약, 검색, 추천 등 실시간 AI 기능 제공
- 직접 학습하거나 파인튜닝한 모델의 검증 및 서비스 배포
- AI 모델을 적용하기 위한 프로토타입과 PoC 환경 구성
- 워크로드에 맞는 GPU 프로파일과 Replica를 이용한 추론 자원 구성
주요 특징
- 모델 카탈로그: 기본 제공 모델과 커스텀 모델 메뉴에서 모델을 확인하고 관리합니다.
- 전용 엔드포인트: 모델별 전용 URL과 추론 리소스를 생성하고 상태를 제어할 수 있습니다.
- Revision 관리: 커스텀 모델의 변경 사항을 새 Revision으로 등록하고, 필요한 엔드포인트에 선택적으로 적용할 수 있습니다.
- API 키 인증: 하나의 API 키를 여러 엔드포인트에 연결하여 추론 요청을 인증할 수 있습니다.
- API 사용량 제한: 엔드포인트에 여러 Tier를 정의하고, API 키와 엔드포인트를 연결할 때 적용할 Tier를 선택할 수 있습니다.
- Secret 관리: 커스텀 모델이 외부 모델 저장소나 이미지 저장소에 접근하는 데 필요한 인증정보를 Secret으로 관리할 수 있습니다.
- 운영 정보 제공: 엔드포인트 로그, 요청 및 토큰 사용량, 시스템 리소스 지표를 확인할 수 있습니다.
사용 흐름
- 프로젝트에서 서비스 시작하기를 한 번 실행합니다.
- 비공개 모델이나 컨테이너 이미지 저장소에 접근해야 한다면 인증 정보 > Secret에서 Secret을 먼저 생성합니다.
- 모델 카탈로그 > 기본 제공 모델에서 배포할 모델을 확인하거나 모델 카탈로그 > 커스텀 모델에서 커스텀 모델을 생성합니다.
- 모델, 리소스, 로깅과 API 제한 정책을 설정하여 엔드포인트를 생성합니다.
- API 키를 생성하고 사용할 엔드포인트에 연결합니다. API 제한을 사용한다면 해당 엔드포인트의 Tier도 함께 선택합니다.
- 엔드포인트 상세 화면의 URL과 연결된 API 키를 사용해 추론 API를 호출합니다.
- 엔드포인트 상세 화면에서 로그, 사용량, 모니터링 지표를 확인합니다.
시작하기
Advanced AI Space에 대한 자세한 사용 가이드는 How-to Guides에서 설명합니다.
카카오클라우드를 처음 시작하신다면 카카오클라우드 시작하기를 참고하시기 바랍니다.