본문으로 건너뛰기

문제 해결

본 문서는 Kubeflow 사용 중 발생하는 문제를 해결하는 방법을 안내합니다.

노트북 SSH 세션이 주기적으로 끊김​

현재 설정되어 있는 SSH 세션 제한 시간은 5시간입니다.

▶️ SSH 세션 유지 시간을 "제한 없음"으로 늘리는 것은 보안상 지원이 불가능하며, 아래의 SSH 설정 파일 수정을 통해 세션 유지 시간을 설정할 수 있습니다.

/etc/ssh/ssh_config
Host ssh-nipagpu.kakaocloud.com
    Port {SSH 통신 포트}
    ServerAliveInterval 100 # 추가
    ServerAliveCountMax 10 # 추가

▶️ 추가로, 노트북 터미널에서 아래 명령어를 통해 SSH 서비스가 정상 동작하는지 확인할 수 있습니다.

SSH 서비스가 정상 동작 하는 상태
$ sudo service ssh status
 * sshd is running

rsync를 이용하여 파일을 옮기는 도중 SSH 세션 끊김​

현재 설정되어 있는 SSH 세션 제한 시간은 5시간입니다.

▶️ SSH 세션 유지 시간을 "제한 없음"으로 늘리는 것은 보안상 지원이 불가능하며, 아래 방법으로 문제 해결이 가능합니다.

  1. SSH 설정 파일을 수정합니다.

    /etc/ssh/sshd_config
    Host ssh-nipahpc.kubeflow.kakaocloud.com
        Port {SSH 통신 포트}
        ServerAliveInterval 100 # 추가
        ServerAliveCountMax 10 # 추가

  2. 파일 전송 실패 지점부터 재전송 가능한 옵션을 사용합니다. (--patial)

    rsync -avz --progress -e 'sshpass -p {ssh pw} ssh -p {ssh port}' . {username}@ssh-nipahpc.kubeflow.kakaocloud.com:/home/sun.day --partial
안내

안정적인 Object Storage 서비스(S3, NinIO, GCS 등)가 존재한다면, MinIO Client 등을 이용하여 Object Storage에서 데이터를 내려받는 것이 가능합니다.

▶️ 추가로, 노트북 터미널에서 아래 명령어를 통해 SSH 서비스가 정상 동작하는지 확인할 수 있습니다.

SSH 서비스가 정상 동작 하는 상태
$ sudo service ssh status
 * sshd is running

SSH 연결 후 변경된 비밀번호를 분실 시​

SSH 연결 후, 비밀번호를 변경했다면 해당 비밀번호를 다시 확인하기 어렵습니다. 또한, Kubeflow > Manage Account에서 확인할 수 있는 SSH 비밀번호와 직접 변경한 비밀번호는 서로 다릅니다.

▶️ 따라서 이 문제는 노트북을 재생성하거나,문의 및 장애접수 채널을 통해 패스워드 초기화 요청을 해주셔야 합니다.

  • 가급적 비밀번호 변경은 하지 않는 것을 추천합니다.

주피터 노트북 생성 시, CONNECT 버튼이 장시간 비활성화 또는 로딩 중​

주피터 노트북 생성 요청 후, CONNECT 버튼이 장시간 비활성화 및 생성 로딩 상태인 경우엔 노트북 생성 실패가 원인일 수 있습니다.
이 경우, Kubeflow 대시보드 화면 상단의 Activity에서 노트북 생성 로그를 확인하시기 바랍니다.

리소스 문제로 확인되는 경우​

Activity 로그 확인 시, 아래와 같은 메시지는 리소스 부족이 원인입니다.

에러 메시지
Reissued from pod/vscode-gpus-0: 0/84 nodes are available: 2 Insufficient memory, 31 node(s) didn't match Pod's node affinity/selector, 53 Insufficient nvidia.com/mig-7g.80gb, 6 Insufficient cpu. preemption: 0/84 nodes are available: 31 Preemption is not helpful for scheduling, 53 No preemption victims found for incoming pod..

▶️ 그라파나 모니터링에서 CPU/Memory/GPU 할당량 및 사용량 확인이 가능합니다. 자세한 설명은 모니터링 가이드를 참고해 주세요.

할당량에 문제가 없음에도 정상적으로 노트북이 생성되지 않을 경우 NIPA 고성능 컴퓨팅 지원 사업 문의 및 장애접수 채널을 통해 문의주시기 바랍니다.

주피터 노트북 SSH 접근은 가능하지만, CONNECT 버튼으로 웹 접근 시 에러 발생​

주피터 노트북 Default 계정의 HOME Directory가 변경되어 아래 에러 메시지가 노출되며, 노트북 웹 접근이 불가한 상태입니다.
해당 내용은 다음과 같이 공통으로 조치가 가능합니다.

에러 메시지
upstream connect error or disconnect/reset before headers. reset reason: connection failure, transport failure reason: delayed connect error: 111
에러 메시지
"Error"
Permission denied: Untitled.ipynb
에러 메시지
"Failed to load the jupyterlab-git server extension"
git command not found - please ensure you have Git > 2 installed
에러 메시지
"File Save Error for Untitled.ipynb"
Permission denied: Untitled.ipynb

변경된 HOME Directory를 원복​

  1. /home/jovyan Directory의 파일 권한이 777이 맞는지 확인합니다.

    HOME Directory 권한 확인
    sun.day@permission-test-0:~$ ls -al /home
    total 16
    drwxr-xr-x 1 root    root  4096 Jun  4 10:40 .
    drwxr-xr-x 1 root    root  4096 Jun  4 10:40 ..
    dr-xr-xr-x 7 root    root  4096 Jun  4 10:40 jovyan
    drwxr-xr-x 3 sun.day users 4096 Jun  4 10:42 sun.day

  2. /home/jovyan Directory의 파일 권한을 777로 변경합니다.

    HOME Directory 권한 변경
    sun.day@permission-test-0:~$ sudo chmod 777 /home/jovyan/ 

    sun.day@permission-test-0:~$ ls -al /home
    total 16
    drwxr-xr-x 1 root    root  4096 Jun  4 10:40 .
    drwxr-xr-x 1 root    root  4096 Jun  4 10:40 ..
    drwxrwxrwx 7 root    root  4096 Jun  4 10:40 jovyan
    drwxr-xr-x 3 sun.day users 4096 Jun  4 10:42 sun.day

로그의 에러 처리가 어려울 경우​

할당량에 문제가 없음에도 정상적으로 노트북이 생성되지 않을 경우 혹은 로그 에러 처리가 어려울 경우 문의 및 장애접수 채널을 통해 문의주시기 바랍니다.