클러스터 재실행하기
Hadoop Eco 사용 시 인스턴스를 재실행하거나 오류가 발생하여 클러스터를 재실행해야 할 경우, 클러스터를 재실행하는 방법은 다음과 같습니다.
- 추천 실행 순서: Zookeeper → HDFS → YARN → Hive → HBase → History Server → Trino → Kafka → Druid → Redis → Superset → Hue, Zepplin 등
클러스터별 실행 순서는 다음과 같습니다.
- HDFS
- YARN
- Hive
- HBase
- Dataflow
- HA: journalnode > namenode > zkfc > datanode
- Single: namenode > secondary namenode > datanode
- HA, Single: resource manager > node manager
- HA, Single: metastore > hiveserver2
- HA, Single: HMaster > regionserver
- HA, Single: kafka > druid > redis > superset
팁
재부팅이나 오류가 발생하여 컴포넌트가 중지되는 경우 자동으로 3분마다 재시작합니다.
재시작을 원하지 않는 경우 컴포넌트를 명시적으로 종료(stop)하고, 서비스를 disabled 상태로 변경하여야 합니다.
Zookeeper 서비스 종료
sudo systemctl stop zookeeper.service
sudo systemctl disable zookeeper.service
Hadoop
Hadoop Single
Hadoop Single - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | namenode | 마스터 | sudo systemctl restart namenode.service |
| secondary namenode | 마스터 | sudo systemctl restart secondarynamenode.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 | sudo systemctl restart jobhistoryserver.service |
| 5 | hive | metastore | hive metastore | 마스터 | sudo systemctl restart metastore.service |
| hiveserver2 | hiveserver2 | 마스터 | sudo systemctl restart hiveserver2.service | ||
| 6 | tez | tez | tez-ui | 마스터 | sudo systemctl restart tezui.servicee |
| 7 | spark | spark-historyserver | 마스터 | sudo systemctl restart spark-historyserver.service | |
| 8 | spark | spark-thriftserver | 마스터 | sudo systemctl restart spark-thriftserver.service | |
| 9 | 기타 | hue | hue | 마스터 | sudo systemctl restart hue.service |
| oozie | oozie | 마스터 | sudo systemctl restart oozie.service | ||
| zeppelin | zeppelin | 마스터 | sudo systemctl restart zeppelin.service |
Hadoop HA
Hadoop HA - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 1, 2, 3 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | journalnode | 마스터 1, 2, 3 | sudo systemctl restart journalnode.service |
| namenode | 마스터 1, 2 | sudo systemctl restart namenode.service | |||
| zkfc | 마스터 1, 2 | sudo systemctl restart zkfc.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 1, 2 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 3 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 1, 2 | sudo systemctl restart jobhistoryserver.service |
| 5 | hive | metastore | hive metastore | 마스터 1, 2, 3 | sudo systemctl restart metastore.service |
| hiveserver2 | hiveserver2 | 마스터 1, 2, 3 | sudo systemctl restart hiveserver2.service | ||
| 6 | tez | tez | tez-ui | 마스터 3 | sudo systemctl restart tezui.servicee |
| 7 | spark | spark-historyserver | 마스터 3 | sudo systemctl restart spark-historyserver.service | |
| 8 | spark | spark-thriftserver | 마스터 3 | sudo systemctl restart spark-thriftserver.service | |
| 9 | 기타 | hue | hue | 마스터 3 | sudo systemctl restart hue.service |
| oozie | oozie | 마스터 3 | sudo systemctl restart oozie.service | ||
| zeppelin | zeppelin | 마스터 3 | sudo systemctl restart zeppelin.service |
HBase
HBase Single
HBase Single - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | namenode | 마스터 | sudo systemctl restart namenode.service |
| secondary namenode | 마스터 | sudo systemctl restart secondarynamenode.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 | sudo systemctl restart jobhistoryserver.service |
| 5 | hbase | hmaster | hmaster | 마스터 | sudo systemctl restart hmaster.service |
| regionserver | regionserver | 마스터 | sudo systemctl restart regionserver.service | ||
| 6 | 기타 | hue | hue | 마스터 | sudo systemctl restart hue.service |
HBase HA
HBase HA - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 1, 2, 3 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | journalnode | 마스터 1, 2, 3 | sudo systemctl restart journalnode.service |
| namenode | 마스터 1, 2 | sudo systemctl restart namenode.service | |||
| zkfc | 마스터 1, 2 | sudo systemctl restart zkfc.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 1, 2 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 3 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 3 | sudo systemctl restart jobhistoryserver.service |
| 5 | hbase | hmaster | hmaster | 마스터 1, 2, 3 | sudo systemctl restart hmaster.service |
| regionserver | regionserver | 워커 | sudo systemctl restart regionserver.service | ||
| 6 | 기타 | hue | hue | 마스터 3 | sudo systemctl restart hue.service |
Trino
Trino Single
Trino Single - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | namenode | 마스터 | sudo systemctl restart namenode.service |
| secondary namenode | 마스터 | sudo systemctl restart secondarynamenode.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 | sudo systemctl restart jobhistoryserver.service |
| 5 | hive | metastore | hive metastore | 마스터 | sudo systemctl restart metastore.service |
| hiveserver2 | hiveserver2 | 마스터 | sudo systemctl restart hiveserver2.service | ||
| 6 | trino | trino | coordinator | 마스터 | sudo systemctl restart trino.service |
| worker | 워커 | sudo systemctl restart trino.service | |||
| 7 | 기타 | hue | hue | 마스터 | sudo systemctl restart hue.service |
| zeppelin | zeppelin | 마스터 | sudo systemctl restart zeppelin.service |
Trino HA
Trino HA - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 1, 2, 3 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | journalnode | 마스터 1, 2, 3 | sudo systemctl restart journalnode.service |
| namenode | 마스터 1, 2 | sudo systemctl restart namenode.service | |||
| zkfc | 마스터 1, 2 | sudo systemctl restart zkfc.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 1, 2 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 3 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 3 | sudo systemctl restart jobhistoryserver.service |
| 5 | hive | metastore | hive metastore | 마스터 1, 2, 3 | sudo systemctl restart metastore.service |
| hiveserver2 | hiveserver2 | 마스터 1, 2, 3 | sudo systemctl restart hiveserver2.service | ||
| 6 | trino | trino | coordinator | 마스터 3 | sudo systemctl restart trino.service |
| worker | 워커 | sudo systemctl restart trino.service | |||
| 7 | 기타 | hue | hue | 마스터 3 | sudo systemctl restart hue.service |
| zeppelin | zeppelin | 마스터 3 | sudo systemctl restart zeppelin.service |
Dataflow
Dataflow Single
Dataflow Single - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | namenode | 마스터 | sudo systemctl restart namenode.service |
| secondary namenode | 마스터 | sudo systemctl restart secondarynamenode.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 | sudo systemctl restart jobhistoryserver.service |
| 5 | kafka | kafka | broker | 전체 | sudo systemctl restart kafka.service |
| 6 | druid | master-query server | coordinator-overlord, broker, router | 마스터 | sudo systemctl restart druid-master-query-server.service |
| data server | historical, middleManager | 마스터 | sudo systemctl restart druid-data-server.service | ||
| 7 | redis | redis | redis | 마스터 | sudo systemctl restart redis.service |
| 8 | 기타 | hue | hue | 마스터 | sudo systemctl restart hue.service |
| superset | superset | 마스터 | sudo systemctl restart superset.service |
Dataflow HA
Dataflow HA - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 1,2,3 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | journalnode | 마스터 1,2,3 | sudo systemctl restart journalnode.service |
| namenode | 마스터 1,2 | sudo systemctl restart namenode.service | |||
| zkfc | 마스터 1,2 | sudo systemctl restart zkfc.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 1,2 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| timeline server | 마스터 3 | sudo systemctl restart timelineserver.service | |||
| 4 | hadoop | mapred | job historyserver | 마스터 3 | sudo systemctl restart jobhistoryserver.service |
| 5 | kafka | kafka | broker | 전체 | sudo systemctl restart kafka.service |
| 6 | druid | master-broker server | coordinator-overlord, broker | 마스터 1,2 | sudo systemctl restart druid-master-broker-server.service |
| master-query server | coordinator-overlord, broker, router | 마스터 3 | sudo systemctl restart druid-master-query-server.service | ||
| data server | historical, middleManager | 워커 | sudo systemctl restart druid-data-server.service | ||
| 7 | redis | redis | redis | 마스터 3 | sudo systemctl restart redis.service |
| 8 | 기타 | hue | hue | 마스터 3 | sudo systemctl restart hue.service |
| superset | superset | 마스터 3 | sudo systemctl restart superset.service |