要启动sparksql并访问到Hive,有两个步骤:
1、将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下
2、配置MySQL驱动包,将MySQL驱动包放在一个自定义目录下,在$SPARK_HOME/conf里面的spark-defaults.conf配置两个参数
spark.executor.extraClassPath /home/hadoop/jars/mysql-connector-java-5.1.34.jar
spark.driver.extraClassPath /home/hadoop/jars/mysql-connector-java-5.1.34.jar
或者可以将mysql驱动包放到$SPARK_HOME/lib下,但是如果集群升级需要再次操作这个步骤,所以推荐第一个做法。