Monitoring Flow를 활용한 하둡 클러스터 오토 스케일링 자동화
카카오클라우드 Monitoring Flow 서비스와 Hadoop Eco 서비스를 이용하여 클러스터 오토 스케일링을 자동화하는 방법을 설명합니다.
기본 정보
- 예상 소요 시간: 30분
- 사용자 환경
- 권장 운영 체제: Ubuntu
- Region: kr-central-2
- 사전 준비 사항
시나리오 소개
이 시나리오에서는 Monitoring Flow 서비스를 사용하여 하둡 클러스터 오 토 스케일링을 자동화하는 과정을 다룹니다. 주요 단계는 다음과 같습니다.
- 카카오클라우드 Hadoop Eco를 사용하여 하둡 클러스터 생성
- Monitoring Flow에서 시나리오를 생성하여 하둡 클러스터의 Scale-in/Scale-out 스케줄을 생성
- Alert Center 연동을 통해 모니터링 결과에 대한 알림 수신
사전 작업
네트워크 환경 구축
Monitoring Flow 서비스와 하둡 클러스터간 통신을 위해 네트워크 환경을 설정합니다. 아래의 항목에 따라 VPC와 서브넷을 생성합니다.
VPC 및 서브넷: tutorial
-
카카오클라우드 콘솔 > Beyond Networking Service > VPC 메뉴로 이동합니다.
-
[+ VPC 생성] 버튼을 클릭한 후, 다음과 같이 설정합니다.
구분 항목 설정/입력값 VPC 정보 VPC 이름 tutorial VPC IP CIDR 블록 10.0.0.0/16 Availability Zone 가용 영역 개수 1 첫 번째 AZ kr-central-2-a 서브넷 설정 가용 영역당 퍼블릭 서브넷 개수 1 kr-central-2-a 퍼블릭 서브넷 IPv4 CIDR 블록: 10.0.0.0/20
-
하단에 생성되는 토폴로지를 확인 후, 이상이 없다면 [생성] 버튼을 클릭합니다.
- 서브넷의 상태는
Pending Create
>Pending Update
>Active
순서로 변경됩니다.Active
상태가 되면 다음 단계로 진행할 수 있습니다.
- 서브넷의 상태는
작업 순서
Monitoring Flow를 활용하여 하둡 클러스터 사이즈를 조정하는 방법을 단계별로 안내합니다.
Step 1. Hadoop Eco 클러스터 생성하기
Hadoop Eco 클러스터를 생성하여 Monitoring Flow로 모니터링할 환경을 구성합니다.
-
카카오클라우드 콘솔 > Analytics > Hadoop Eco > Cluster 메뉴로 이동합니다.
-
클러스터가 없다면, 클러스터 생성 문서를 참고하여 클러스터를 생성합니다.
- VPC 설정 항목에서 플로우 커넥션에 연결할 VPC와 서브넷을 선택합니다.