Kubeflow 노트북으로 예측 모델 구현

데이터세트를 활용하여 Jupyter Notebook에서 예제를 실습합니다.

Step 1. 사전 준비

학습 데이터를 다운로드하고 다운로드한 데이터세트를 활용하여 Jupyter Notebook에서 예제를 실습합니다.

• 원활한 실습을 위하여 실습용 노드 풀의 최소 사양을 확인해 주세요.
• 노드 풀 최소 사양 : vCPU 4개 이상, Memory 8GB 이상
• (선택 2) 선택 시 : GPU 노트북 노드 풀 필수
• GPU 파이프라인 생성 시: GPU 파이프라인 노드 풀 필수

주의

실습하고자 하는 노드 풀의 최소 사양을 충족하지 못하는 경우 원활한 실습이 어려울 수 있습니다.

학습 데이터 준비하기

New York City에 공개된 데이터세트를 활용하여 “택시 요금 예측 모델”을 구현할 예정입니다.

• 실습 데이터세트 다운로드 : New York Taxi Fare Dataset 기반 회귀 모델 학습

실습 예제 원본 데이터세트 정보

항목	설명
목표	택시 요금 예측 모델 구현
데이터 정보	뉴욕시의 2009년 ~ 2015년의 Yellow 택시 요금 - 승객이 타고 내린 위치, 승객 수, 승차 시간 등

Step 2. 실습을 위한 노트북 생성하기

해당 실습을 위한 노트북 생성하기 가이드입니다.

안내

• 해당 실습을 위한 노트북 생성하기 가이드입니다.
  
• 실습이 아닌, 노트북 생성하기에 대한 자세한 설명은 노트북 사용 문서를 확인해 주세요.

CPU 이미지 기반의 노트북 생성하기

모델 학습에 CPU 인스턴스 유형만 사용하고자 하는 경우에 대한 예시입니다. 학습에 필요한 예시에 따라 생성해 주세요.

1. Kubeflow 대시보드에 접속하여 Notebooks 탭을 클릭한 후, [New Notebook] 버튼을 클릭합니다.

2. New Notebook 화면에서 필요한 정보를 입력하고 [LAUNCH] 버튼을 클릭하여 CPU 이미지 기반의 노트북 인스턴스를 생성합니다.

   (선택 1) CPU 이미지 기반의 노트북 생성하기

   항목	구분	설명
   Name	Name	Kubeflow 대시보드에서 노트북 인스턴스 식별에 사용
   	Namespace	노트북 인스턴스를 생성할 Kubernetes 네임스페이스
   Docker Image	Image	mlops-pipelines/jupyter-pyspark-pytorch:v1.0.1 - Docker 이미지 지정
   CPU / RAM	Requested CPUs	2 - CPU 코어의 수이며, 노트북 인스턴스가 사용할 CPU 리소스의 양 지정
   	Requested memory in Gi	6 - 메모리 리소스의 단위(GiB)이며 노트북 인스턴스가 사용할 메모리 리소스의 양 지정
   GPUs	Number of GPUs	None - 노트북 인스턴스에서 사용할 GPU 자원
   Affinity / Tolerations	Affinity Config	노트북이 생성될 CPU 노드 풀 선택 - 노트북 인스턴스 실행할 노드 지정
   	Tolerations Group	None - 특정 노드의 테인트(taint) 허용 설정

주의

Requested CPUs와 Requested memory in Gi의 값은 Affinity Config에서 선택한 노드 풀의 vCPU(개)와 Memory(GB)보다 작아야 합니다.

(선택 2) GPU 이미지 기반의 노트북 생성하기

모델 학습에 GPU 인스턴스 유형만 사용하고자 하는 경우에 대한 예시입니다. 학습에 필요한 예시에 따라서 생성해 주세요.

1. Kubeflow 대시보드에 접속하여 Notebooks 탭을 클릭한 후, [New Notebook] 버튼을 클릭합니다.

2. New Notebook 화면에서 필요한 정보를 입력하고 [LAUNCH] 버튼을 클릭하여 CPU 이미지 기반의 노트북 인스턴스를 생성합니다.

   (선택 2) GPU 이미지 기반의 노트북 생성하기

   항목	구분	설명
   Name	Name	Kubeflow 대시보드에서 노트북 인스턴스 식별에 사용
   	Namespace	노트북 인스턴스를 생성할 Kubernetes 네임스페이스
   Docker Image	Image	mlops-pipelines/jupyter-pyspark-pytorch-cuda:v1.0.1 - Docker 이미지 지정
   CPU / RAM	Requested CPUs	2 - CPU 코어의 수이며, 노트북 인스턴스가 사용할 CPU 리소스의 양 지정
   	Requested memory in Gi	6 - 메모리 리소스의 단위(GiB)이며 노트북 인스턴스가 사용할 메모리 리소스의 양 지정
   GPUs	Number of GPUs	최소 1개 이상 - 노트북 인스턴스에서 사용할 GPU 자원
   	GPU Vendor	NVIDIA MIG - 1g.10gb - 고유한 GPU 드라이버 및 소프트웨어 툴킷 선택
   Affinity / Tolerations	Affinity Config	노트북이 생성될 GPU 노드 풀 선택 - 노트북 인스턴스 실행할 노드 지정
   	Tolerations Group	None - 특정 노드의 테인트(taint) 허용 설정

Step 3. (실습 1) 노트북에서 예측 모델 학습하기

1. 실습을 위하여 아래 예제를 다운로드 해주세요.

   • 예제 다운로드 : nyc_taxi_pytorch_run_in_notebook.ipynb

2. 다운로드 후 생성한 노트북 인스턴스에 접속하여 파일을 브라우저에 업로드합니다.

   주피터 노트북 콘솔에 파일 브라우저 업로드하기

3. 업로드가 완료되면 우측 화면 영역에 실습 내용을 확인할 수 있습니다.

   예제 파일 업로드 완료

4. 예제 내용을 확인하고 모델 학습을 실습합니다.

Step 4. (실습 2) 노트북에서 파이프라인 생성하고 예측 모델 학습시키기

1. 실습을 위하여 아래 예제를 다운로드해 주세요.

   • 예제 다운로드 : nyc_taxi_pytorch_build_pipeline_cpu.ipynb / nyc_taxi_pytorch_build_pipeline_gpu.ipynb
     

   주피터 노트북 콘솔에 파일 브라우저 업로드하기

2. 업로드가 완료되면 우측 화면 영역에 실습 내용을 확인할 수 있습니다.

   (실습 2) 예제 파일 업로드 완료

3. 예제 내용을 확인하고 모델 학습을 실습합니다.

   안내

   • 완료 또는 미사용 실행은 리소스 관리를 위해 아래 방법을 통해 삭제를 권고드립니다.

4. 실습이 완료되면 실행에서 완료된 실행을 삭제합니다. (실행을 Archived로 이동 후 Delete 버튼을 클릭합니다.) 실행 삭제하기

5. 실행 삭제 시, 파드까지 삭제된걸 확인할 수 있습니다.

   실행 삭제 확인하기