본문으로 건너뛰기

모델 카탈로그

모델 카탈로그는 기본 제공 모델과 커스텀 모델 메뉴로 구성됩니다. 기본 제공 모델의 정보를 확인하거나, 사용자가 직접 커스텀 모델과 Revision을 생성하고 관리할 수 있습니다.

기본 제공 모델 확인​

  1. AI Service > Advanced AI Space 메뉴로 이동합니다.

  2. 모델 카탈로그 > 기본 제공 모델 메뉴를 클릭합니다.

  3. 기본 제공 모델 목록을 확인합니다.

    항목설명
    이름설정된 모델 이름
    버전 정보모델에 등록된 최신 버전
    설명모델 제공자와 용도 등의 정보
    생성 일시모델이 등록된 일시

  4. 상세 정보를 확인할 모델의 이름을 클릭합니다.

  5. 세부 정보와 Revision 정보에서 모델 종류, 모델 설명, 최신 버전, 엔드포인트 공통 URL, 엔드포인트 포트 정보와 Revision 목록을 확인합니다.

기본 제공 모델로 엔드포인트를 생성하려면 모델 목록에서 모델을 선택하거나 모델 상세 화면에서 [엔드포인트 생성] 버튼을 클릭합니다.

커스텀 모델 목록 확인​

  1. AI Service > Advanced AI Space 메뉴로 이동합니다.

  2. 모델 카탈로그 > 커스텀 모델 메뉴를 클릭합니다.

  3. 커스텀 모델 목록을 확인합니다.

    항목설명
    이름설정된 모델 이름
    버전 정보모델에 등록된 최신 버전
    설명모델 생성 시 입력한 설명
    생성 일시모델이 생성된 일시

커스텀 모델 생성​

사전 준비​

사용할 서빙 템플릿과 모델 Repository 정보를 준비합니다.
비공개 Hugging Face 모델이나 컨테이너 이미지 저장소에 접근해야 한다면 Secret을 먼저 생성하세요.

생성 절차​

  1. AI Service > Advanced AI Space 메뉴로 이동합니다.

  2. 모델 카탈로그 > 커스텀 모델 메뉴를 클릭합니다.

  3. [커스텀 모델 생성] 버튼을 클릭합니다.

  4. 커스텀 모델과 첫 번째 Revision의 정보를 입력합니다.

    구분항목설명
    기본 정보이름커스텀 모델 식별 이름 (영문, 숫자, 하이픈(-)으로 1~30자 입력)
    설명모델 특징이나 용도에 대한 설명 (100자 이내 입력)
    Revision 기본 정보모델 버전영문, 숫자, 하이픈(-), 언더바(_), 마침표(.)만 입력 가능 (1-20자)
    설명Revision 변경 사항이나 특징 (100자 이내 입력)
    서빙 템플릿서빙 템플릿모델 실행용 서빙 템플릿 선택 (선택한 템플릿에 따라 추가 입력 항목 상이)
    모델 RepositoryDocker Image URL모델 서버 실행용 컨테이너 이미지 URL
    Docker 실행 명령어컨테이너 실행 명령어 (선택, 미입력 시 이미지의 기본 명령어 실행)
    Object Storage 버킷 정보모델 파일이 저장된 버킷과 상세 경로 선택 후 [연결 테스트] 실행
    엔드포인트 정보 입력Inference Endpoint 공통 URL모델 서버에 설정된 추론 요청 수신 경로
    Inference Endpoint 수신 내부 포트 정보추론 요청을 수신할 컨테이너 내부 포트(1~65,535 사이의 정수)
    API Schema(endpoint)모델의 API 요청 및 응답 형식
    Graceful OptionReadiness / Liveness요청 처리 준비 상태와 정상 동작 확인용 헬스 체크
    Graceful Shutdown종료 전 실행 명령어와 강제 종료 전 대기 시간
    고급 설정환경 변수모델 실행에 필요한 환경 변수
    Secret모델 Repository 접근용 Secret
서빙 템플릿 유의사항

Custom 템플릿을 사용하는 경우 토큰 사용량이 정상적으로 수집되지 않을 수 있습니다. 이 경우 엔드포인트 상세 화면의 토큰 사용량 그래프가 표시되지 않거나 정확하지 않을 수 있으며, API 제한 설정(Tier)의 입력·출력 토큰 한도가 적용되지 않을 수 있습니다.

토큰 기반 모니터링과 사용량 제한이 필요한 경우 vLLM 템플릿을 사용하세요.

  1. 입력한 정보를 확인한 후 [생성] 버튼을 클릭합니다.

커스텀 모델 상세 확인​

  1. AI Service > Advanced AI Space 메뉴로 이동합니다.

  2. 모델 카탈로그 > 커스텀 모델 메뉴를 클릭합니다.

  3. 확인할 모델의 이름을 클릭합니다.

  4. 모델 상세 화면에서 다음 정보를 확인합니다.

    영역확인할 수 있는 정보
    세부 정보최신 모델 버전, 모델 설명, 서빙 템플릿, 모델 종류, 데이터 타입, 엔드포인트 공통 URL, 엔드포인트 포트 정보와 생성 일시
    모델 Repository현재 Revision에 설정된 모델 Repository 정보
    Graceful OptionReadiness, Liveness와 Graceful Shutdown 설정
    고급 설정환경 변수와 Secret 설정
    Revision 정보모델 버전, Revision 일시와 Revision 설명

커스텀 모델 수정​

커스텀 모델을 생성한 후에는 모델 설명만 수정할 수 있습니다. 모델 이름은 수정할 수 없습니다.

  1. 모델 카탈로그 > 커스텀 모델 메뉴에서 수정할 모델의 이름을 클릭합니다.
  2. 모델 상세 화면에서 [수정] 버튼을 클릭합니다.
  3. 설명을 수정한 후 [저장] 버튼을 클릭합니다.

모델 Revision 생성​

새 Revision을 생성할 때 이전 Revision의 설정을 불러오거나 새로운 설정을 입력할 수 있습니다.

  1. 모델 카탈로그 > 커스텀 모델 메뉴에서 Revision을 생성할 모델의 이름을 클릭합니다.
  2. 모델 상세 화면에서 [Revision 생성] 버튼을 클릭합니다.
  3. 이전 설정을 사용하려면 이전 Revision 정보 불러오기에서 기준이 될 Revision을 선택합니다.
  4. 모델 버전과 설명, 서빙 템플릿, 모델 Repository, 엔드포인트 정보, Graceful Option, 환경 변수와 Secret을 설정합니다.
  5. 입력한 정보를 확인한 후 [생성] 버튼을 클릭합니다.
기존 엔드포인트에 Revision 반영

새 Revision을 생성해도 기존 엔드포인트의 배포 버전은 변경되지 않습니다.
기존 엔드포인트에서 새 Revision을 사용하려면 신규 버전 적용을 실행하세요.

커스텀 모델 삭제​

  1. 모델 카탈로그 > 커스텀 모델 메뉴에서 삭제할 모델의 이름을 클릭합니다.
  2. 모델 상세 화면에서 [삭제] 버튼을 클릭합니다.
  3. 삭제 확인 창에 영구 삭제를 입력합니다.
  4. 삭제할 모델의 이름과 설명을 확인한 후 [삭제] 버튼을 클릭합니다.

삭제한 모델은 복구할 수 없습니다. 모델을 삭제하기 전에 연결된 엔드포인트와 필요한 Revision을 확인하세요.