如何解决使用hive将多字符作为分隔符的数据入库的问题

hive不支持多字符作为分隔符,但是有些数据必须使用多字符作为分隔符。因此当使用hive将多字符作为分隔符的数据入库时比较麻烦,以下办法仅供参考:

将需要入库的数据先下载到本地目录下,然后通过替换分隔符的方法将源数据的分隔符替换掉再进行入库即可

如字符集不一致记得转码哦!!!

转码语句: iconv -f gbk -t utf8  file_name -o file_name_1
替换分隔符语句: sed -i 's/<|>/^A/g' file_name       //其中<|>为需要被替换掉的分隔符,^A为替换的分隔符
 注意在hive中:^A复制粘贴使用无效,必须手动打,可用 ctrl+v+a 输入



猜你喜欢

转载自blog.csdn.net/LH0912666/article/details/80101545