sqoop的数据调度
在sqoop的bin运行
所上传到hdfs的和上传到hive的表不能重复
从mysql到hdfs
注解
./sqoop import (输入命令)
–connect jdbc:mysql://192.168.88.40:3306/lxq \ (指定连接jdbc端口和数据库名称)
–username root (数据库用户名)
–password 123456 (密码 若不适用明文指定数据库密码 则可以用-P)
–table tlxq (指定数据库中的一张表)
–m 1 (指定使用导入数据的map个数)
命令:
./sqoop import
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–table tlxq
–m 1
从hdfs到mysql
–table user (指定数据库中的一张表)
命令:
./sqoop export
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–table user
–export-dir /user/root/tlxq/part-m-00000
从mysql导入hive 库名lxq 表名test
–delete-target-dir (如果目标目录已存在,则先删除)
–hive-table ht(指定hive数据库中的一个表,可以不写)
命令:
./sqoop import
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–table test
–fields-terminated-by ‘,’
–delete-target-dir
–m 1
–hive-import
–hive-database default
–hive-table ht
从hive导出到mysql 提前建一个表在mysql
–export-dir /user/hive/warehouse/test/part-m-00000_copy_1(输出路径)
在mysql数据库必须创建一个空的tests表。
命令:
./sqoop export
–connect jdbc:mysql://192.168.88.40:3306/lxq
–username root
–password 123456
–input-fields-terminated-by ‘,’
–table tests
–export-dir /user/hive/warehouse/ht/part-m-00000