背景信息:
本文用Sqoop实现MySQL中数据向Hive数据的抽取,研究在修改MySQL中数据以及表结构对抽取结果的影响
环境:
cloudera VM(包含Hadoop生态各组件),并在此VM中安装MySQL
初始状态:
Mysql中表数据如下所示:
利用SQOOP从MySQL向Hive同步数据:
源表mysql:wht.people
目的表:Hive: db01.people
sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ',' --hive-import --hive-table db01.people --hive-overwrite -m 1
在HUE中查询Hive中数据:
场景一
修改MySQL中数据,重新同步,检查Hive中数据是否会被更新
结论:Hive中的数据会被更新
推测:数据文件被删除后重新进行了抽取
sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ',' --hive-import --hive-table db01.people --hive-overwrite -m 1
场景二
增加/删除MySQL中数据,重新同步,检查Hive中数据是否会被增加
结论:Hive中的数据会增加/删除
推测:应该是被删除后重新进行了抽取
sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ',' --hive-import --hive-table db01.people --hive-overwrite -m 1
场景三
修改MySQL中表结构,增加一列,检查Hive中表结构是否会被同步修改
现象:源表中的新增列没有被同步过来
推测:应该只有数据文件被重建,但是元数据不会被修改
sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ',' --hive-import --hive-table db01.people --hive-overwrite -m 1
场景四
修改MySQL中表结构,删除一列,检查Hive中表结构是否会被同步修改
现象:源表中的删除列在Hive显示值为NULL
推测:应该只有数据文件被重建,但是元数据不会被修改
sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ',' --hive-import --hive-table db01.people --hive-overwrite -m 1