GPU 워크로드 운영 가이드

모두의 AI 대시보드 및 카카오클라우드 콘솔 로그인부터 GPU 자원 모니터링, 노트북 SSH 연결, Queue와 Scheduler를 통한 자원 배치, NVIDIA Dynamo 또는 KServe를 이용한 대규모 언어 모델 서빙 방법을 안내합니다.

안내

이 문서는 할당받은 Kubernetes 네임스페이스에서 GPU 워크로드를 실행하는 사용자를 대상으로 합니다.

📄️ 대시보드 및 콘솔 로그인

모두의 AI 대시보드와 카카오클라우드 콘솔에 로그인하는 방법을 안내합니다.

모두의 AI 대시보드 메뉴와 네임스페이스 정보를 안내합니다.

네임스페이스의 GPU, CPU, 디스크, Pod 자원을 모니터링하는 방법을 안내합니다.

노트북에 SSH로 접속하고 SCP로 파일을 전송하는 방법을 안내합니다.

2 항목

3 항목

GPU Queue, Scheduler, Gateway, NVIDIA Dynamo, KServe 모델 서빙 중 발생하는 문제를 해결하는 방법을 안내합니다.