주요 개념
Advanced AI Space는 모델 카탈로그, 엔드포인트, 인증정보로 구성됩니다. 모델과 실행 설정은 Revision으로 관리하고, 추론에 필요한 리소스와 API 제한 정책은 엔드포인트에서 관리합니다.
모델 카탈로그
모델 카탈로그는 추론 엔드포인트로 배포할 수 있는 AI 모델을 관리하는 공간입니다. 기본 제공 모델과 커스텀 모델은 각각 별도 메뉴에서 확인합니다.
| 구분 | 설명 |
|---|---|
| 기본 제공 모델 | 카카오클라우드에서 제공하는 모델 모델 상세와 Revision 정보 확인 후 엔드포인트 생성 가능 |
| 커스텀 모델 | 사용자가 직접 등록·관리하는 모델 모델 Repository, 엔드포인트 정보, Graceful Option, 환경 변수, Secret 설정 가능 |
기본 제공 모델 목록
Advanced AI Space에서 제공하는 기본 제공 모델은 다음과 같습니다.
| 이름 | 버전 정보 | 설명 |
|---|---|---|
gpt-oss-20b | v1.0.0 | openai에서 제공하는 gpt-oss-20b 모델 |
kanana-1.5-2.1b-instruct-2505 | v1.0.0 | kakaocorp에서 제공하는 kanana-1.5-2.1b-instruct-2505 모델 |
kanana-1.5-15.7b-a3b-instruct | v1.0.0 | kakaocorp에서 제공하는 kanana-1.5-15.7b-a3b-instruct 모델 |
kanana-1.5-8b-instruct-2505 | v1.0.0 | kakaocorp에서 제공하는 kanana-1.5-8b-instruct-2505 모델 |
Qwen/Qwen3-4B-Instruct-2507 | v1.0.0 | Qwen에서 제공하는 Qwen3-4B-Instruct-2507 모델 |
Qwen/Qwen3-14B | v1.0.0 | Qwen에서 제공하는 Qwen3-14B 모델 |
Qwen/Qwen3-30B-A3B-Instruct-2507 | v1.0.0 | Qwen에서 제공하는 Qwen3-30B-A3B-Instruct-2507 모델 |
Revision
Revision은 모델의 특정 버전과 실행 설정을 함께 관리하는 단위입니다. 커스텀 모델에 새 Revision을 등록하면 모델 카탈로그에는 최신 Revision이 표시되지만, 이미 생성된 엔드포인트에는 자동으로 반영되지 않습니다. 기존 엔드포인트에서 새 Revision을 사용하려면 신규 버전 적용을 실행해야 합니다.
엔드포인트
엔드포인트는 선택한 모델 Revision을 클라우드 환경에 배포하여 추론 요청을 처리하는 리소스입니다. 엔드포인트를 생성할 때 다음 항목을 설정합니다.
- 모델
- 엔드포인트 이름과 도메인 ID
- 인스턴스 유형, 리소스 프로파일, 리소스 수
- Replica와 무중단 배포 설정
- Object Storage 로깅 사용 여부
- API 제한 설정(Tier)
엔드포인트 상태 및 가능 작업
엔드포인트 상태에 따라 실행할 수 있는 작업이 달라집니다.
| 상태 | 설명 | 신규 버전 적용 | 상태 변경 | 수정 | 삭제 |
|---|---|---|---|---|---|
Creating | 엔드포인트 리소스 생성 중 | 불가 | 불가 | 불가 | 가능 |
Provisioning | 엔드포인트 프로비저닝 중 | 불가 | 불가 | 불가 | 가능 |
Active | 추론 요청 처리 가능 | 가능 | 가능 | 가능 | 가능 |
Updating | 엔드포인트 설정 또는 모델 버전 반영 중 | 불가 | 불가 | 불가 | 가능 |
Deleting | 엔드포인트 삭제 중 | 불가 | 불가 | 불가 | 불가 |
Stopping | 엔드포인트 중지 중 | 불가 | 불가 | 불가 | 가능 |
Stopped | 엔드포인트 중지 상태로 추론 요청 처리 불가 | 가능 | 가능 | 불가 | 가능 |
Failed | 엔드포인트 작업 실패 | 불가 | 불가 | 불가 | 가능 |
API 제한 설정(Tier)
Tier는 엔드포인트의 API 사용량 제한 정책입니다. 하나의 엔드포인트에 여러 Tier를 등록할 수 있으며, 각 Tier에는 전체 요청 수, 입력 토큰 수, 출력 토큰 수 등의 제한을 설정할 수 있습니다.
제한값을 설정하지 않은 Tier도 생성할 수 있으며, 이 경우 사용량 집계 주기를 설정하지 않습니다.
Tier는 다음과 같이 API 키에 적용됩니다.
- 엔드포인트에 필요한 Tier를 하나 이상 등록합니다.
- API 키를 엔드포인트에 연결할 때 해당 엔드포인트의 Tier 중 하나를 선택할 수 있습니다.
- 사용량 제한이 필요하지 않다면 Tier를 선택하지 않고 API 키와 엔드포인트만 연결합니다.
API 키
API 키는 엔드포인트를 호출할 때 사용하는 인증정보입니다.
- API 키 하나를 여러 엔드포인트에 연결할 수 있습니다.
- 엔드포인트에 연결하지 않은 API 키는 추론 호출에 사용할 수 없습니다.
- 하나의 API 키와 엔드포인트 연결에는 Tier를 최대 하나까지 적용할 수 있으며, Tier를 적용하지 않아도 됩니다.
- API 키의 전체 값은 생성 직후 한 번만 확인할 수 있습니다.
- API 키의 유효기간은 생성일로부터 370일입니다.
Secret
Secret은 커스텀 모델이 모델 저장소나 컨테이너 이미지 저장소에 접근할 때 필요한 민감한 인증정보를 관리하는 리소스입니다. Secret을 먼저 생성한 뒤 커스텀 모델 또는 새 Revision의 고급 설정에서 선택합니다.
Secret이 적용된 모델을 엔드포인트로 배포하면 Secret 목록의 연결된 엔드포인트 수에 반영됩니다.
리소스 관계
| 리소스 | 관계 |
|---|---|
| 커스텀 모델과 Revision | 하나의 커스텀 모델에 여러 Revision 등록 가능 |
| 모델 Revision과 엔드포인트 | 특정 모델 Revision 배포 새 Revision은 기존 엔드포인트에 자동 적용되지 않음 |
| 엔드포인트와 Tier | 하나의 엔드포인트에 여러 Tier 등록 가능 |
| API 키와 엔드포인트 | 하나의 API 키를 여러 엔드포인트에 연결 가능 |
| API 키 연결과 Tier | API 키와 엔드포인트의 연결별로 Tier 하나를 선택하거나 미적용 가능 |
| Secret과 커스텀 모델 | 커스텀 모델 또는 Revision에서 Secret 선택 모델 배포 시 연결된 엔드포인트로 집계 |