如果某个节点彻底损毁,重装系统,那么需要的步骤如下:
目的 | 操作步骤 | 节点之间配置文件是否完全一致 | 需要各个节点分别启动 |
Hadoop修复 | mkdir -p ~/dfs/name start /home/appleyuchi/dfs/data/current/VERSION中的cluster-ID改成$HADOOP_HOME/logs/hadoop-appleyuchi-datanode-Laptop.out 中提示的cluster-ID字符串 然后再次输入 start,从机的datapnode就起来了。 |
是 | 否 |
TEZ恢复 | [3][4]照做 yarn timelineserver 打开 desktop:8880/tez-ui |
- | - |
Hive修复 | mysql> create database hive; $ schematool -dbType mysql -initSchema hive --service metastore hive |
否 | 是(hive只是个hdfs的转化引擎) |
Zookeeper恢复 | /home/appleyuchi/dfs/zookeeper/data /home/appleyuchi/dfs/zookeeper2/data /home/appleyuchi/dfs/zookeeper3/data 上述各个节点的对应目录下各自新建一个myid文件 文件中各自写1,2,3即可 |
否 | 是 |
Spark恢复 | mkdir /home/appleyuchi/bigdata/spark-3.0.0-preview2-bin-hadoop3.2/logs/applicationHistory startspark |
否 | 否 |
ClickHouse恢复 | 按照自己配置文件以及[6][7]配置 |
否 | 是(由于是开机启动服务,所以各个节点都要各自重启服务) |
Flink恢复 | 按照自己配置文件来恢复 | 是 | 否 |
Hbase恢复 | 按照自己配置文件来恢复 | 否 | 否 |
Kafka恢复 | 按照自己配置文件来恢复 | 否 | 是 |
tez的yarn timelineserver启动后如果使用tez会有bug
Reference:
[1]org.apache.hadoop.hive.metastore.api.InvalidObjectException: Role public already exists.
[2]Underlying cause: com.mysql.cj.jdbc.exceptions.CommunicationsException : Communications link failure
[3]org.apache.maven.plugin.MojoExecutionException: protoc version is libprotoc 3.6.1, expected versio
[4]https://gitee.com/fastsource/apache-tez-0.9.2-src/blob/master/README.md
[6]ClickHouse安裝