版权声明:本文为博主原创文章,转载请注明来源。开发合作联系[email protected] https://blog.csdn.net/luanpeng825485697/article/details/80514233
开发环境
HBase:hbase-1.2.6
Hadoop:hadoop-2.7.3
Spark:spark-2.3.0-bin-hadoop2.7
Spark的配置
找到hbase1.2根目录下lib文件夹下的所有jar包,将其拷贝到spark所在节点的自己专门存放jar包的目录下,我这里路径假设是/lp/hadoop/spark-2.3.0-bin-hadoop2.7/jars,然后有二种方法将其加入spark的classpath,如下
修改spark-env.sh中的SPARK_CLASSPATH,比如
export SPARK_CLASSPATH=/lp/hadoop/spark-2.3.0-bin-hadoop2.7/jars/*
或者
修改spark-defaults.conf,如下
spark.executor.extraClassPath=/lp/hadoop/spark-2.3.0-bin-hadoop2.7/jars/
spark.driver.extraClassPath=/lp/hadoop/spark-2.3.0-bin-hadoop2.7/jars/
二种方式都可以,但是第一种修改spark-env.sh的方式在spark1.0之前比较推荐,之后的版本建议用第二种方式.
我用的第二种方式,修改完成后重启spark集群