版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012848709/article/details/85486282
楔子
spark日志保存 和 历史服务器 以及高可用搭建
1 日志保存 和历史服务器
配置文件spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://had2/spark/data/log
spark.history.fs.logDirectory hdfs://had2/spark/data/log # 日志历史文件位置
spark.eventLog.compress true # 启用压缩
2 高可用
官网配置参考
高可用需要配置2个位置
- 文件
spark-env.sh配置如下
export HADOOP_CONF_DIR=$HADOOP_HOME/ect/hadoop
export JAVA_HOME=/usr/local/soft/jdk
export SPARK_MASTER_HOST=had1
export SPARK_MASTER_PORT=7077 # 提交任务的端口
export SPARK_WORKER_CORES=1 # 设置机器内核数量
export SPARK_WORKER_MEMORY=1g
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH
## 上面是其他完整配置
## 下面这个是高可用配置
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=had2:2181,had3:2181,had4:22181 -Dspark.deploy.zookeeper.dir=/aparkHV"
- 其次是 第二个master节点 的
spark-env.sh修改SPARK_MASTER_HOST=had2
高可用的提交
spark-submit --master spark://had1:7077,had2:7077 --class cn.sxt.spark.core.WC wc.jar