Skip to main content

모델 카탈로그

모델 등록 및 관리​

모델 카탈로그에서는 기본 제공되는 모델을 활용할 수도 있고, 커스텀 모델을 등록하거나 관리할 수 있습니다.

모델 목록 확인​

  1. 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
  2. 모델 카탈로그 메뉴를 클릭하고, 기본 제공 모델/커스텀 모델 탭을 선택하여 목록을 확인합니다.
    구분설명
    필터필터를 통해 모델을 조회하거나, 버전으로 검색
    이름설정된 모델 이름
    버전 정보모델에 적용된 최신 버전 정보
    버전 정보모델에 대한 설명
    생성일시모델이 처음 생성된 일시

커스텀 모델 생성​

  1. 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.

  2. 모델 카탈로그 메뉴를 클릭한 후, 커스텀 모델 탭으로 이동한 뒤 [커스텀 모델 생성] 버튼을 클릭합니다.

  3. [커스텀 모델 생성] 버튼을 클릭하면 모델 상세 내용을 입력하는 화면으로 이동합니다.

  4. 필요한 정보 입력 후, [생성] 버튼을 클릭합니다.

    항목구분설명
    모델 이름입력AI 모델의 이름을 입력합니다. 동일한 모델 이름은 사용할 수 없으며, 최대 30자까지 입력 가능합니다.
    모델 설명선택AI 모델의 특징, 용도 등 사용자가 참고할 수 있는 설명을 입력합니다.
    Revision 기본 정보입력모델 버전 및 Revision 설명을 입력합니다.
    모델 버전은 영문, 숫자, 하이픈(- ), 언더바(_) 마침표(.)만 입력할 수 있으며, 영문·숫자로 시작하고 끝나야 합니다. (1~20자)
    서빙 템플릿입력Custom, vLLM, Hugging Face 중 하나를 선택합니다.
    (vLLM, Hugging Face 선택 시 모델 종류, 데이터 타입을 선택해야 합니다.)
    - Custom: 사용자가 직접 준비한 Docker 이미지를 활용해 원하는 환경을 구성할 수 있습니다.
    - vLLM: 대규모 언어 모델(LLM) 추론에 최적화된 고성능 서빙 엔진을 사용할 수 있습니다.
    - Hugging Face: Hugging Face Hub에 등록된 공개 모델을 손쉽게 서빙할 수 있습니다.
    모델 저장소입력선택한 서빙 템플릿에 따라 입력할 수 있는 항목이 구분되며 Docker Image URL, HuggingFace Repo, Object Storage 버킷 정보 등 모델 실행 환경 정보를 입력합니다.
    - Docker, Object Storage 모두 카카오클라우드 자원을 활용해야만 합니다.
    - HuggingFace Repo 선택 시 HuggingFace에 등록되어 있는 모델 ID를 입력합니다. (ex: kakaocorp/kanana-1.5-8b-instruct-2505)
    엔드포인트 정보입력Inference Endpoint 공통 URL, 수신 내부 포트 정보를 입력합니다.
    -vLLM, HuggingFace 템플릿 선택 시 별도 입력은 불가합니다.
    Resource 자원 설정입력모델에 맞는 인스턴스 유형과 리소스 프로파일 그리고 공유 메모리 사용 여부를 선택합니다.
    - 리소스 프로파일 선택 시 활용 가능한 최대 vCPU/Memory가 노출됩니다.
    - vLLM, HuggingFace 템플릿 선택 시 공유 메모리는 사용으로 고정됩니다.
    Graceful Option선택파드가 시작·운영·종료되는 과정에서 서비스 중단을 최소화하고 안정적으로 추론을 제공하기 위한 설정으로, 헬스 체크(Readiness, Liveness)와 안전한 종료 처리를 포함합니다.
    - Readines: 파드가 요청을 처리할 준비가 되었는지 확인하는 헬스 체크입니다.
    - Liveness: 파드가 정상적으로 동작 중인지 확인하는 헬스 체크입니다.
    - Pre Stop Command: 새 버전 배포 시 기존 파드가 처리 중인 요청을 마무리하기 위해 종료 전에 실행되는 명령어입니다.
    - Termination Grace Period: 파드가 강제 종료되기 전까지 정상 종료를 위해 대기하는 시간(초)입니다.
    환경 변수선택파드 실행 시 필요한 환경 변수를 지정합니다.
    Ingress Option선택엔드포인트 접근 시 Ingress 동작을 세부 조정하기 위한 설정으로, 요청 본문 크기 제한, 버퍼 크기, SSL 리다이렉트 여부, 요청 타임아웃 등을 지정할 수 있습니다.

모델 상세 보기​

  1. 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
  2. 모델 카탈로그 메뉴를 클릭하고, 기본 제공 모델/커스텀 모델 탭을 선택하여 목록을 확인합니다.
  3. 모델 이름을 선택하여 상세 화면으로 이동 후 정보를 확인합니다.
    구분설명
    모델 종류기본 제공 모델 / 커스텀 모델
    최신 버전모델에 적용된 최신 버전 정보
    생성 일시모델이 처음 생성된 일시

모델 상세 탭별 정보​

모델의 기본적인 세부 정보를 확인할 수 있습니다.

구분설명
모델 설명모델 생성 시 입력한 모델 설명
Endpoint 공통 URL엔드포인트 주소에 공통 적용되는 기본 경로
Endpoint 포트 정보컨테이너가 요청을 수신하는 포트 정보

모델 수정​

안내

모델 수정은 커스텀 모델에서만 가능합니다.

  1. 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
  2. 모델 카탈로그 메뉴를 클릭하고, 기본 제공 모델/커스텀 모델 탭을 선택하여 목록을 확인합니다.
  3. 모델 이름을 선택하여 상세 화면으로 이동합니다.
  4. 모델 상세 화면에서 [수정] 버튼을 클릭합니다.
  5. 수정 팝업에서 모델 이름과 모델 설명을 수정 후 [수정] 버튼을 클릭합니다.

모델 삭제​

안내

모델 삭제는 커스텀 모델에서만 가능합니다.

  1. 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.
  2. 모델 카탈로그 메뉴를 클릭하고, 기본 제공 모델/커스텀 모델 탭을 선택하여 목록을 확인합니다.
  3. 모델 이름을 선택하여 상세 화면으로 이동합니다.
  4. 모델 상세 화면에서 [삭제] 버튼을 클릭합니다.
  5. 삭제 팝업에서 영구 삭제를 입력 후 [삭제] 버튼을 클릭합니다.

모델 Revision 등록​

Revision은 모델의 특정 버전을 의미하며, 모델의 업데이트나 개선 사항을 기록·관리하기 위해 사용됩니다.
새로운 Revision을 등록하면 해당 모델에 즉시 적용되며, 이전 Revision으로 되돌리고자 할 경우에는 이전 정보를 기반으로 새로운 Revision을 다시 등록해야 합니다.

안내

모델 Revision 등록은 커스텀 모델에서만 가능하며, 기본 제공 모델에서는 등록된 Revision 정보를 조회만 할 수 있습니다.

  1. 카카오클라우드 콘솔 > AI Service > Advanced AI Space 메뉴로 이동합니다.

  2. 모델 카탈로그 메뉴를 클릭하고, 커스텀 모델 탭을 선택합니다.

  3. Revision을 등록하고자 하는 모델 이름을 선택하여 상세 화면으로 이동합니다.

  4. 모델 상세 화면에서 Revision 탭을 클릭합니다.

  5. [Revision] 등록 버튼을 클릭 후 필요 정보를 입력하는 화면으로 이동합니다.

    항목구분설명
    Revision 기본 정보입력모델 버전 및 Revision 설명을 입력합니다.
    모델 버전은 영문, 숫자, 하이픈(- ), 언더바(_) 마침표(.)만 입력할 수 있으며, 영문·숫자로 시작하고 끝나야 합니다. (1~20자)
    서빙 템플릿입력Custom, vLLM, Hugging Face 중 하나를 선택합니다.
    (vLLM, Hugging Face 선택 시 모델 종류, 데이터 타입을 선택해야 합니다.)
    - Custom: 사용자가 직접 준비한 Docker 이미지를 활용해 원하는 환경을 구성할 수 있습니다.
    - vLLM: 대규모 언어 모델(LLM) 추론에 최적화된 고성능 서빙 엔진을 사용할 수 있습니다.
    - Hugging Face: Hugging Face Hub에 등록된 공개 모델을 손쉽게 서빙할 수 있습니다.
    모델 저장소입력선택한 서빙 템플릿에 따라 입력할 수 있는 항목이 구분되며 Docker Image URL, HuggingFace Repo, Object Storage 버킷 정보 등 모델 실행 환경 정보를 입력합니다.
    -단, Docker, Object Storage 모두 카카오클라우드 자원을 활용해야만 합니다.
    엔드포인트 정보입력Inference Endpoint 공통 URL, 수신 내부 포트 정보를 입력합니다.
    -vLLM, HuggingFace 템플릿 선택 시 별도 입력은 불가합니다.
    Resource 자원 설정입력모델에 맞는 인스턴스 유형과 리소스 프로파일 그리고 공유 메모리 사용 여부를 선택합니다.
    - 리소스 프로파일 선택 시 활용 가능한 최대 vCPU/Memory가 노출됩니다.
    - vLLM, HuggingFace 템플릿 선택 시 공유 메모리는 사용으로 고정됩니다.
    Graceful Option선택파드가 시작·운영·종료되는 과정에서 서비스 중단을 최소화하고 안정적으로 추론을 제공하기 위한 설정으로, 헬스 체크(Readiness, Liveness)와 안전한 종료 처리를 포함합니다.
    - Readines: 파드가 요청을 처리할 준비가 되었는지 확인하는 헬스 체크입니다.
    - Liveness: 파드가 정상적으로 동작 중인지 확인하는 헬스 체크입니다.
    - Pre Stop Command: 새 버전 배포 시 기존 파드가 처리 중인 요청을 마무리하기 위해 종료 전에 실행되는 명령어입니다.
    - Termination Grace Period: 파드가 강제 종료되기 전까지 정상 종료를 위해 대기하는 시간(초)입니다.
    환경 변수선택파드 실행 시 필요한 환경 변수를 지정합니다.
    Ingress Option선택엔드포인트 접근 시 Ingress 동작을 세부 조정하기 위한 설정으로, 요청 본문 크기 제한, 버퍼 크기, SSL 리다이렉트 여부, 요청 타임아웃 등을 지정할 수 있습니다.

  6. 필요한 정보를 입력 후, [저장] 버튼을 클릭합니다.