CLI에서 하둡 에코 정보 확인

CLI 환경에서 Hadoop Eco 정보를 확인하는 방법을 다음과 같습니다.

WebHDFS 사용

curl http://$(hostname -f):50070/webhdfs/v1/user/?op=LISTSTATUS

HDFS 사용량 확인하기

HDFS의 각 데이터 노드의 사용량을 확인할 수 있습니다.

HDFS 사용량 확인

hdfs dfsadmin -report

HDFS 사용량 확인

코드	설명
Present Capacity	사용 가능한 HDFS 총 용량
DFS Remaining	남아 있는 HDFS 용량
DFS Used	사용한 HDFS 용량
Live datanodes (N)	N개의 데이터 노드가 운영 중 - 각 데이터 노드의 상세 사용량 확인 가능

WebHDFS REST API 사용하기

curl 명령을 이용하여 REST API로 HDFS를 확인할 수 있습니다. 모든 명령은 WebHDFS를 참고하시기 바랍니다.

WebHDFS REST API 사용

curl -s http://$(hostname -f):50070/webhdfs/v1/user/?op=LISTSTATUS

WebHDFS REST API 사용

YARN

명령어	설명
yarn node -list	노드 매니저 목록 확인
yarn node -list -showDetails	노드 매니저의 상세 정보 확인
yarn top	작업 상태 확인
yarn application -list	애플리케이션 목록 확인
yarn application -list -appStates RUNNING	애플리케이션의 상태에 따른 목록 확인
yarn application -status < Application ID >	< Application ID >의 상태 확인
yarn application -kill < Application ID >	< Application ID > 작업 종료
yarn logs -applicationId < Application ID >	< Application ID > 작업 로그 확인
mapred queue -list	작업 큐 목록 확인
yarn queue -status < Queue Name >	< Queue Name > 큐의 현재 상태 확인

노드 매니저 확인하기

노드 매니저의 상태를 확인할 수 있습니다.

노드 매니저 확인

yarn node -list -showDetails

노드 매니저 확인

작업 상태 확인하기

현재 리소스 매니저의 동작 상태(vCore, 메모리 사용량)를 확인할 수 있습니다.

작업 상태 확인

yarn top

작업 상태 확인

애플리케이션 목록 확인하기

현재 실행 중인 애플리케이션 목록을 확인할 수 있습니다.

애플리케이션 목록 확인

yarn application -list

애플리케이션 목록 확인

코드	설명
Application-Id	애플리케이션 ID
Application-Name	애플리케이션 이름
Application-Type	애플리케이션 유형
User	사용자
Queue	큐 이름
State	상태
Final-State	최종 실행 상태
Progress	처리율
Tracking-URL	애플리케이션 마스터 URL

애플리케이션 로그 확인하기

현재 실행 중인 애플리케이션 로그를 확인할 수 있습니다.

애플리케이션 로그 확인

yarn logs -applicationId <Application Id>

애플리케이션 로그 확인

전체 큐 목록 확인하기

전체 큐(Queue) 목록을 확인할 수 있습니다.

전체 큐 목록 확인

mapred queue -list

전체 큐 목록 확인

코드	설명
Capacity	큐에 설정된 사용 가능량
MaximumCapacity	최고 사용량
CurrentCapacity	현재 사용량

큐 상태 확인하기

큐(Queue)의 상태를 확인할 수 있습니다.

큐 상태 확인

yarn queue -status <Queue Name>

코드	설명
Capacity	큐에 설정된 사용 가능량
CurrentCapacity	현재 사용량
MaximumCapacity	최고 사용량

큐 상태 확인