非高可用版本:
1)修改spark-default.conf.template名称
mv spark-defaults.conf.template spark-defaults.conf
2)修改spark-default.conf文件,开启Log:
vi spark-defaults.conf
添加如下代码:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://host:port/JobHistoryServer
注意:HDFS上的JobHistoryServer目录需要提前存在(JobHistoryServer名字随意取)
3)修改spark-env.sh文件,添加如下配置:
vi spark-env.sh
添加如下代码:
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30
-Dspark.history.fs.logDirectory=hdfs://host:port/JobHistoryServer" (跟上面的目录名对应)
参数描述:
spark.eventLog.dir
Application在运行过程中所有的信息均记录在该属性指定的路径下
spark.history.ui.port=18080
WEBUI访问的端口号为18080
spark.history.fs.logDirectory=hdfs://host:port/JobHistoryServer
配置了该属性后,在start-history-server.sh时就无需再显式的指定路径
Spark History Server页面只展示该指定路径下的信息
spark.history.retainedApplications=30
指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除
这个是内存中的应用数,而不是页面上显示的应用数
4)分发配置文件
5)启动历史服务
sbin/start-history-server.sh
6)执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://host:port \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.2.0.jar \
300
7)查看历史服务
host:18080
-------------------------------华丽的分割线------------------------------
高可用版本:
1)修改spark-default.conf.template名称
mv spark-defaults.conf.template spark-defaults.conf
2)修改spark-default.conf文件,开启Log:
vi spark-defaults.conf
添加如下代码:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://dfs.nameservices逻辑名称/JobHistoryServer
注意:HDFS上的JobHistoryServer目录需要提前存在(JobHistoryServer名字随意取)
3)修改spark-env.sh文件,添加如下配置:
vi spark-env.sh
添加如下代码:
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30
-Dspark.history.fs.logDirectory=hdfs://dfs.nameservices逻辑名称:port/JobHistoryServer" (跟上面的目录名对应)
参数描述:
spark.eventLog.dir
Application在运行过程中所有的信息均记录在该属性指定的路径下
spark.history.ui.port=18080
WEBUI访问的端口号为18080
spark.history.fs.logDirectory=hdfs://host:port/JobHistoryServer
配置了该属性后,在start-history-server.sh时就无需再显式的指定路径
Spark History Server页面只展示该指定路径下的信息
spark.history.retainedApplications=30
指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除
这个是内存中的应用数,而不是页面上显示的应用数
4)将Hadoop的配置文件拷贝到Spark的Conf目录下
目的是为了Spark读取到集群的逻辑名称
cp $HADOOP_HOME/etc/hadoop/core-site.xml $SPARK_HOME/conf/core-site.xml
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $SPARK_HOME/conf/hdfs-site.xml
5)分发配置文件
6)启动历史服务
sbin/start-history-server.sh
7)执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://host:port \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.2.0.jar \
300
7)查看历史服务
host:18080