sqoop:import时过滤条件

全量导入:

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test  --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

加where条件导入: 

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "ID <= 8" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

加rlike条件:

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "mobile rlike '^[1][35678][0-9]{9}$'" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

加regexp正则 条件:

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "mobile REGEXP '^[1][35678][0-9]{9}$'" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile

只导入name为中文,且不包含其他字符类型的:

sqoop import --connect jdbc:mysql://172.000.000.170:3309/p_b --username p_b --password ********* --table sparksql_hive_test --where "remark2 not REGEXP '[u0391-uFFE5]'" --hive-import --hive-database tmp --hive-table hive_mobile_test --hive-overwrite --hive-drop-import-delims --delete-target-dir -m 1 --as-parquetfile
发布了260 篇原创文章 · 获赞 119 · 访问量 51万+

猜你喜欢

转载自blog.csdn.net/weixin_38750084/article/details/103158803