【Sqoop】数据同步

HDFS数据导入Mysql实践

源数据是SparkSQL job生成的,基于Sqoop将数据同步到Mysql

HDFS文件类型默认是parquet

压缩格式是snappy

SparkSQL写入HDFS,如果路径不存在,自动创建,department目录不存在,则会自定创建,目录如下:

hdfs://clu:8020/dev/test/department

sqoop export \
--connect 'jdbc:mysql://localhost:3306/sqoop' \
--username 'root' \
--password 'root' \
--table 'user' \
--export-dir '/user.txt' \
--columns 'uname,vnum,fnumb' \
--mapreduce-job-name 'hdfs to mysql' \
--input-fields-terminated-by '\t' \
--input-lines-terminated-by '\n
发布了58 篇原创文章 · 获赞 2 · 访问量 5509

猜你喜欢

转载自blog.csdn.net/hebaojing/article/details/104559972