本文主要介绍利用Spark中通过Spark中通过JDBC连接数据库以及连接Hive读写数据的方法。
1.通过JDBC连接mysql数据库
在Mysql Shell环境中,输入下面SQL语句完成数据库和表的创建;
要想顺利连接MySQL数据库,还需要使用MySQL数据库驱动程序。请到MySQL官网下载MySQL官网下载MySQL的JDBC驱动程序,。把该jar包放在Spark的安装目录“/usr/local/spark/jars"下。
启动一个spark-shell。启动Spark Shell时,必须指定Mysql连接驱动jar包,命令如下:
2.读取Mysql数据库中的数据
spark.read.format("jdbc")操作可以实现对MySQL数据库的读取,如下所示
在通过JDBC连接MySQL数据库时,需要通过option()方法设置相关的连接参数,如下表所示:
参数名称 | 参数的值 | 含义 |
url | jdbc://mysql://localhost:3306/spark | 数据库的连接地址 |
driver | com.mysql.jdbc.Driver | 数据库的JDBC驱动程序 |
dbtable | student | 所要访问的表 |
user | root | 用户名 |
password | 123456 | 用户密码 |
向mysql中数据库中写入数据
如下所示:
插入前后表的对比。