1、问题描述
关于HIVE中文乱码问题的解决办法,网上有很多帖子,然而很多都是基于LINUX终端显示字符的修改,其实上对于一些条件下的HIVE中文乱码问题是无法解决的,如从CSV文件导入到HIVE中出现的中文乱码问题。
HIVE原生的字符编码是采用UTF-8方式的,这是支持中文的。然而在从ORACLE导出CSV文件,注入到HIVE表中的时候,就发现输入时出现中文乱码。按照HIVE中文乱码的解决思路总是没有成功。
后来考虑到HIVE将数据是存放在HDFS上的,并以序列化的方式存在,因此应该考虑HDFS中文乱码的问题,这一查,资料还不少。也看到了核心的问题所在: hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式,但是对于中文的输出window系统默认的是GBK,有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-8文件时,输出的结果为乱码,只能由UE或者记事本打开才能正常显示。因此将hadoop默认输出编码更改为GBK成为非常常见的需求。
2、解决问题
设置序列化编码为GBK,以WINDOW拷贝导入的数据编码相匹配。
hive> ALTER TABLE tablename SET SERDEPROPERTIES ('serialization.encoding'='GBK');
再次导入hdfs上的csv文件
发现这样就不会出现乱码的情况