클러스터 관리

클러스터는 Virtual Machine을 이용하여 프로비저닝된 노드들의 집합입니다. Hadoop Eco 서비스에서 클러스터를 관리하는 방법은 다음과 같습니다.

클러스터 목록 보기

현재 생성된 클러스터 목록과 클러스터의 기본 정보를 확인할 수 있습니다.

1. 카카오클라우드 콘솔 > Analytics > Hadoop Eco 메뉴로 이동합니다.

2. Cluster 메뉴에서 클러스터 목록을 확인합니다.

   구분	설명
   클러스터 필터	필터를 통해 특정 클러스터 조회하거나, 키워드로 검색 - 선택한 항목은 AND 조건으로, 일반 키워드 검색은 OR 조건으로 동작
   이름	사용자가 지정한 클러스터의 이름
   상태	클러스터의 상태 - Pending, Processing, Terminated(User) - 클러스터 상태가 Terminated(오류로 삭제된 클러스터 포함)인 경우 목록에 90일간 노출됨 - 각 상태값에 대한 자세한 설명은 클러스터 생명주기 참고
   유형	Core Hadoop, HBase, Trino, Dataflow
   노드 수	클러스터 구성에 사용된 전체 인스턴스의 개수
   Open API 키 상태	Open API 키 상태
   생성일	클러스터를 생성한 일자
   가동 시간	클러스터를 운영한 시간
   더 보기	- 클러스터 복제: 클러스터의 상태와 상관없이 복제 가능 - Open API 키 발급: API Key 발급(Open API 상태가 적용 가능일 때 노출) - 워커 노드 수 변경: 워커 노드의 개수를 줄이거나 늘림 - 클러스터 삭제: 클러스터를 삭제

클러스터 상세 보기

클러스터의 세부 정보, 노드 정보, 노드 목록, 액션 로그, 모니터링 정보를 확인할 수 있습니다.

1. Cluster 메뉴에서 상세 정보를 확인할 클러스터를 선택합니다.

2. 클러스터의 상세 페이지에서 정보를 확인합니다.

   구분	설명
   클러스터의 상태	클러스터의 상태
   인스턴스 총 가동 시간	인스턴스 총 가동 시간
   생성자	클러스터 생성 요청자
   생성일	클러스터 생성일

클러스터 정보 확인

클러스터 작업, 작업 스케줄링, 서비스 연동 정보를 확인할 수 있습니다.

구분	설명
클러스터 정보	클러스터 관련 전체 정보
클러스터 상세 설정 (선택)	HDFS 복제 개수 HDFS 블록 사이즈 클러스터 구성 설정
서비스 연동 (선택)	서비스 연동 정보 - 모니터링 에이전트 설치 여부 - Data Catalog 연동 - MySQL 데이터베이스 이름 - MySQL 데이터베이스 ID
작업 스케줄링 (선택)	작업 스케줄링 정보 - 작업 종류 - 작업 완료 동작 - 실행파일 - 스케줄링 로그 파일 저장

노드 정보

마스터/워커 노드의 정보를 확인할 수 있습니다.

구분	설명
노드 유형	노드 유형(마스터 또는 워커)
인스턴스 이름	인스턴스 이름 클릭 시, Virtual Machine의 해당 인스턴스 상세 페이지로 이동 후, 액션 사용 가능
인스턴스 ID	노드 인스턴스의 ID
유형	노드 인스턴스의 유형
프라이빗 IP	노드 인스턴스의 프라이빗 IP
퍼블릭 IP	노드 인스턴스의 퍼블릭 IP
상태	노드 인스턴스의 상태

모니터링 확인

Hadoop Eco 클러스터의 HDFS, YARN, Namenode, Resource Manager, Nodes, HBase 등 노드별 상세 모니터링 지표를 확인할 수 있습니다.

안내

Trino 유형의 클러스터 모니터링은 추후 지원 예정입니다.

1. Cluster 메뉴에서 모니터링 지표를 확인할 클러스터를 선택합니다.

2. 모니터링 탭을 클릭한 후, 해당 클러스터의 모니터링 지표를 확인합니다.

   구분	설명
   데이터 기간	조회할 모니터링 지표 기간 - 기간: 1시간(기본값) / 3시간 / 12시간 / 1일 / 7일
   조회 항목	조회할 모니터링 지표 항목 - 기본 제공 항목(에이전트 미설치 시): HDFS / YARN / Namenode / ResourceManager / HBase / Kafka - 모니터링 에이전트 설치 시: 기본 제공 항목 / Nodes - 전체 항목을 기본적으로 조회하며, 복수의 항목 선택 가능
   자동 새로고침 주기	자동 새로고침 주기 설정 - 주기: 자동 새로고침 안 함(기본값) / 10초 / 30초 / 1분 / 5분
   수동 새로고침	클릭 시 모니터링 결과 새로고침

   모니터링 제공 데이터

   항목	모니터링 데이터	설명
   HDFS	HDFS 사용량 (%)	HDFS의 사용량
   	실행 중인 Datanode (개수)	실행 중인 Datanode의 개수
   YARN	YARN 메모리 사용량 (Bytes)	전체 가용 메모리와 사용한 메모리의 양
   	YARN CPU 사용량 (%)	전체 vCore의 사용량과 사용한 vCore의 양
   	실행 중인 Nodemanager (개수)	실행 중인 Nodemanager 개수
   	실행 중인 Application (개수)	실행 중인 Application 개수
   Namenode	Heap Size (Bytes)	전체 가용 Heap 메모리와 사용한 Heap 메모리의 양
   ResourceManager	Heap Size (Bytes)	전체 가용 Heap 메모리와 사용한 Heap 메모리의 양
   Nodes	노드별 CPU 사용량 (%)	노드 인스턴스별 CPU 사용량 - 에이전트 설치 시, 조회 가능
   	노드별 메모리 사용량 (%)	노드 인스턴스 별 메모리 사용량 - 에이전트 설치 시, 조회 가능
   HBase	HMaster Heap Size (Bytes)	전체 가용 Heap 메모리와 사용한 Heap 메모리의 양 - 클러스터 유형이 HBase일 경우만 조회 가능
   	실행 중인 Resion Server (개수)	실행 중인 Resion Server의 개수 - 클러스터 유형이 HBase일 경우만 조회 가능
   Kafka	활성화된 브로커 (개수)	활성화된 Kafka 브로커 개수 - 클러스터 유형이 Dataflow 일 경우만 조회 가능
   	생성된 토픽 (개수)	생성된 토픽 개수 - 클러스터 유형이 Dataflow 일 경우만 조회 가능

액션 로그 확인

Open API Key를 발급받아 Hadoop Eco 클러스터를 생성한 경우, 액션 로그를 확인할 수 있습니다.

1. Cluster 메뉴에서 모니터링 지표를 확인할 클러스터를 선택합니다.

2. 액션 로그 탭을 클릭한 후, 해당 액션 로그 내역을 확인합니다.

   구분	설명
   액션로그 필터	필터 속성을 선택하거나 검색어를 입력해 원하는 조건으로 액션 로그 검색
   요청 ID	클러스터의 요청 ID
   상태	클러스터의 상태
   작업 결과	클러스터 작업 결
   사용자	해당 클러스터 사용자 이메일
   가동시간/인스턴스 가동시간	클러스터를 운영한 시간 - 시간 위에 마우스 포인터를 올리면 해당 클러스터를 요청한 시간을 알 수 있음
   액션로그 상세 정보	아이콘 클릭 시 각 액션 로그의 상세 정보 확인 - 워커 노드 개수: 설정한 워커 노드의 수 - 워커 볼륨 사이즈: 액션 로그의 워커 볼륨 크기 - HDFS 복제 개수: HDFS(Hadoop Distributed File System)에서 복제한 개수 - HDFS 블록 사이즈: HDFS의 블록 사이즈 - 사용자 작업 옵션: 사용자가 작업한 옵션

클러스터 복제

동일한 설정의 클러스터를 복제할 수 있습니다.

안내

클러스터의 상태와 상관없이 복제할 수 있으며, 생성 후 90일까지 정보를 가지고 있는 클러스터만 복제할 수 있습니다.
(단, 지원하지 않는 (구)버전의 클러스터는 복제할 수 없습니다.)

1. Cluster 메뉴에서 복제할 클러스터의 [더 보기] 아이콘 > 클러스터 복제를 선택합니다.
2. 클러스터 복제 팝업창에서 복제할 클러스터의 정보 확인 및 작업 스케줄링 설정 복제 여부를 선택하고 [확인] 버튼을 클릭합니다.

• 작업 스케줄링 설정 여부는 원본 클러스터가 Core Hadoop일 때만 노출됩니다.

구분	설명
클러스터 구성	클러스터 버전/유형/가용성
클러스터 가용성	클러스터의 운영 안정성을 위해 가용성 유형으로 표준과 고가용성 유형을 제공
마스터 노드 설정	노드 인스턴스 유형, 디스크 볼륨, 호스트 이름
워커 노드 설정	노드 인스턴스 유형, 디스크 볼륨

클러스터 삭제

더 이상 사용하지 않는 클러스터를 삭제할 수 있습니다.

caution

삭제한 클러스터 리소스는 종료한 후 완전히 반납되며 복구할 수 없습니다. HDFS의 데이터도 클러스터 자원과 함께 완전히 삭제되어 복구할 수 없습니다.

1. Cluster 메뉴에서 삭제할 클러스터의 [더 보기] 아이콘 > 클러스터 삭제를 선택합니다.
2. 클러스터 삭제 팝업창에서 삭제할 클러스터를 확인한 후, 영구 삭제를 입력하고 [삭제] 버튼을 클릭합니다.

API Key

API Key 신규 발급

클러스터 유형이 Core Hadoop일 때 다음의 조건을 만족한 경우, Hadoop Eco 클러스터 API Key를 발급받을 수 있습니다.

클러스터 유형이 Core Hadoop인 경우의 Hadoop Eco 클러스터 API Key 발급 조건

• 작업 스케줄링 활성화가 Hive 또는 Spark인 경우
• Hadoop Eco 클러스터의 상태가 Terminated(User Command) 또는 Terminated(User) 인 경우

안내

Open API 상태가 적용 중인 경우, 2가지 형태의 클러스터 상태 값이 나타납니다.

• Pending: Open API 활성화 후, Hadoop Eco 생성 요청이 가능한 상태
  
• Processing: Open API 활성화 후 Hadoop Eco 생성 및 job scheduling이 진행 중인 상태

1. Cluster 메뉴에서 API Key를 발급할 클러스터를 선택합니다.
   Open API 상태 필터로 원하는 상태의 Open API 상태를 검색하거나, API Key를 발급받을 클러스터를 검색할 수 있습니다.

   Open API 상태	설명
   적용 불가능	Open API 인증 미노출
   적용 가능	Open API 인증 노출
   적용 중	Open API 인증 선택 불가

2. 클러스터의 [더 보기] 아이콘 > Open API 인증을 선택합니다.

3. Open API 인증 팝업창에서 [발급] 버튼을 클릭합니다.

4. 발급한 API Key를 복사하여 따로 저장해 둡니다.

안내

API Key는 재확인이 어려우므로 Open API 인증 팝업창에서 복사해서 별도로 저장해 놓거나, 분실 시 [재발급] 버튼을 통해 다시 발급하시기 바랍니다.

• 동일한 이름의 클러스터가 있을 시, Open API Key는 발급되지 않습니다.
  
• Open API를 통한 클러스터 생성이 더 이상 필요하지 않을 경우, [삭제] 버튼을 눌러 API Key를 삭제하시기 바랍니다.

API Key 재발급

Hadoop Eco 서비스에서 API Key를 재발급할 수 있습니다.
Open API Key 재발급 시, 기존 API Key는 더 이상 동작하지 않게 되고 API 호출 시 새로 발급받은 Open API Key로 교체해야 합니다.

1. Cluster 메뉴에서 API Key를 재발급할 클러스터의 [더 보기] 아이콘 > Open API 인증을 선택합니다.

2. Open API 인증 팝업창에서 [재발급] 버튼을 클릭합니다.

3. Open API Key 재발급 팝업창에서 [재발급] 버튼을 클릭합니다.

API Key 삭제

API Key를 삭제할 수 있습니다. API Key 삭제 시, 클러스터 상세 페이지의 액션 로그 탭이 삭제됩니다.

1. Cluster 메뉴에서 API Key를 삭제할 클러스터의 [더 보기] 아이콘 > Open API 인증을 선택합니다.

2. Open API 인증 팝업창에서 [삭제] 버튼을 클릭합니다.

3. Open API Key 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.

워커 노드 수 변경

워커 노드 수를 변경할 수 있습니다.

안내

클러스터 상태가 Running인 경우에만 노드 수를 변경할 수 있습니다.

1. Cluster 메뉴에서 워커 노드 수를 변경할 클러스터의 [더 보기] 아이콘 > 워커 노드 수 변경을 선택합니다.
2. 워크 노드 수 변경 팝업창에서 기존 생성한 노드 인스턴스 유형과 수를 확인한 후, 기존의 노드 수보다 크거나 작은 숫자로 입력하고 [저장] 버튼을 클릭합니다.