Hive函数
1.内置函数
1)查看系统自带的函数 – hive> show functions;
2)显示自带的函数的用法 – hive> desc function upper;
3)详细显示自带的函数的用法 – hive> desc function extended upper;
2.Hive自定义函数
1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以 通过自定义UDF来方便的扩展。
2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考 虑使用用户自定义函数
自定义函数分三类:
(1)UDF(User-Defined-Function)
一进一出
(2)UDAF(User-Defined Aggregation Function)
聚集函数,多进一出
类似于:count/max/min
(3)UDTF(User-Defined Table-Generating Functions)
一进多出
如lateral view explore()
编程步骤:
(1)继承org.apache.hadoop.hive.ql.UDF
(2)需要实现evaluate函数;evaluate函数支持重载;
注意事项:
(1)UDF必须要有返回类型,可以返回null,但是返回类型不能为void;
(2)UDF中常用Text/LongWritable等类型,不推荐使用java类型;
3.简单UDF实例
第一步配置pom.xml文件
cloudera https://repository.cloudera.com/artifactory/cloudera-repos/ org.apache.hadoop hadoop-common 2.6.0-cdh5.14.0 org.apache.hive hive-exec 1.1.0-cdh5.14.0 org.apache.maven.plugins maven-compiler-plugin 3.0 1.8 1.8 UTF-8 org.apache.maven.plugins maven-shade-plugin 2.2 package shade *:* META-INF/*.SF META-INF/*.DSA META-INF/*/RSA第二步**:开发java类****继承UDF,并重载evaluate** 方法
public class ItcastUDF extends UDF {
public Text evaluate(final Text s) {
if (null == s) {
return null;
}
//返回大写字母 return new Text(s.toString().toUpperCase());
}
}
第三步:将写好的项目打包上传到桌面上
第四步:将写好的jar包从linux添加到Hive上
重命名我们的jar包名称
cd /export/servers/hive-1.1.0-cdh5.14.0/lib
mv original-day_06_hive_udf-1.0-SNAPSHOT.jar udf.jar
hive的客户端添加我们的jar包
add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/udf.jar;
第五步**:设置函数与我们的自定义函数关联**
创建临时函数
create temporary function tolowercase as ‘cn.itcast.udf.ItcastUDF’;
删除临时函数
drop temporary function tolowercase
创建永久函数
create function tolowercase1 as ‘cn.itcast.udf.ItcastUDF’;
删除永久函数
drop function tolowercase1;
第六步**:使用自定义函数**
select tolowercase(‘abc’);