Kubeflow 모델 서빙 API 만들기
카카오클라우드 Kubeflow 환경에서 예제 데이터세트를 활용하여 머신러닝 파이프라인을 구축하고, 이를 통해 생성된 모델을 웹 API 형태로 제공하는 방법을 안내합니다.
- 예상 소요 시간: 20분
- 권장 운영 체제: MacOS, Ubuntu
- Region: kr-central-2
- 사전 준비 사항
- 참고 문서
시작하기 전에
Kubeflow 환경에서 모델을 서빙하는 과정을 통해, 사용자는 실시간 예측이 가능한 API를 구축하고 관리하는 방법을 학습할 수 있습니다. 이 튜토리얼을 통해 학습된 모델을 KServe를 사용하여 웹 API 형태로 제공하는 전체 프로세스를 이해하고 직접 구현해볼 수 있습니다.
시나리오 소개
이 튜토리얼에서는 카카오클라우드의 Kubeflow 환경에서 KServe를 이용하여 모델 서빙 API를 구축하고 관리하는 과정을 단계별로 소개합니다. KServe를 사용하면 복잡한 인프라 관리 없이도 모델을 서빙하고 확장성 있게 운영할 수 있습니다. 이 시나리오의 주요 내용은 다음과 같습니다.
- Kubeflow에서 KServe 모델 서버 인스턴스 생성 및 설정
- 학습된 모델을 사용하여 실시간 예측 API 구축
- KServe를 활용하여 모델 서빙 프로세스를 관리하고 최적화하는 방법 학습
지원 도구
도구 | 버전 | 설명 |
---|---|---|
KServe | 0.11.2 | - 모델 서빙 도구로 빠른 모델 배포 및 업데이트 지원, 높은 가용성과 확장성을 제공 - 머신러닝 모델 서빙을 위한 일반적인 문제(로드밸런싱, 모델 버전 관리, 실패 복구 등) 자동 처리 |
KServe에 대한 자세한 설명은 Kubeflow > KServe 공식 문서를 확인해 주세요.
사전 작업
모델 서빙 API를 사용하기 위한 환경 설정 및 필수 리소스 준비 과정을 안내합니다.
1. Kubeflow 도메인 연결 확인하기
본 실습을 진행하기 위해서는 Kubeflow 만들기 시 도메인 연결(선택) 항목에 도메인 설정이 필요합니다. 또한, 네임스페이스 쿼터 설정 시 원활한 실습이 어려울 수 있으므로, '도메인 연결' 및 '쿼터 미 설정' 후 실습을 진행합니다.
자세한 설명은 Kubeflow 만들기 및 Kubeflow 쿼터 설정 문서를 확인해주세요.
2. 학습 데이터 준비
2015년 Yelp에서 주최한 레스토랑 등급 예측 대회 식당 리뷰 데이터를 통해 리뷰 등급 예측 모델을 구현해볼 수 있습니다.
- 실습 데이터세트 다운로드
항목 | 설명 |
---|---|
목표 | 텍스트를 통한 식당 리뷰 등급 예측 모델 구현 |
데이터 정보 | Yelp 플랫폼 사용자 식당 리뷰 텍스트, 리뷰 등급 |
Yelp 실습 예제 원본 데이터세트 정보
3. GPU 이미지 기반의 노트북 준비
이 튜토리얼은 GPU 노드풀 환경에서 노트북을 사용합니다.
Kubeflow 서비스나 적절한 환경이 준비되지 않았다면, Jupyter Notebook 생성하기 문서를 참고하여 GPU 이미지 기반의 노트북을 생성합니다.