hive 小记
测试环境
- centos6.5 64bit
- hadoop-2.5.2
- hive-0.14
udf引入第三方lib包
将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量:
export HIVE_AUX_JARS_PATH="/usr/local/hivelib/"即可
设置hive的任务名
hive (default)>set mapred.job.name =test_xxx; 比较遗憾的是没有找到将hive的stage带入到任务名中
自定义udf函数加入到hive并指定函数名
在.hiverc文件中添加如下内容:
add jar /home/blueadmin/hivelib/hive_plugin-0.0.4-SNAPSHOT.jar;
CREATE TEMPORARY FUNCTION json_udtf AS 'com.hadoop.hive.udtf.JsonUDTF';.hiverc文件可以在初始化时默认执行的hive设置放到.hiverc文件中,避免每次进入hive cli中要重新显式的声明