MaxComputer (ODPS) 之UDF

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_35001776/article/details/85000634

UDTF功能:可以放在sql语句中对单行中某个字段进行处理并且生成一行或者多行数据.

开发工具 Intellij IDEA


1.下载MaxCompute Studio


idea -> File -> settings -> Plugins 
搜索‘MaxCompute Studio’
没有的话点击Browse repositories… ,点击Manage repositories…, 点击+,添加以下:
Repository URL: http://odps.alibaba.net/studio/updatePlugins.xmlinstall
安装并重启idea


2.新建MaxComputer Java工程,如图

3.新建MaxComputer Java类


在java包下new一个MaxComputer Java,如图


kind可以选择UDF UDTF等,建好的Java类自动继承UDTF,如图


4.编写UDTF

// TODO define input and output types, e.g. "string,string->string,bigint".
@Resolve({"string->string"})
public class Demo extends UDTF {

    @Override
    public void setup(ExecutionContext ctx) throws UDFException {

    }

    @Override
    public void process(Object[] args) throws UDFException {
        String str = (String) args[0];
        int count = 0;
        while (true) {
            forward(str + "->test");
            if (count == 2) {
                break;
            }
        }
    }

    @Override
    public void close() throws UDFException {

    }

}

5.UDTF Java打包


右击process方法或者空白处,点击Deploy to server,或者使用maven命令打包
然后点击MaxCompute -> 添加资源(resource,如果依赖第三方jar也添加下resource jar包,可以从maven仓库中粘贴过来) -> 如图

MaxCompute project选择自己购买或申请的project环境,如图

成功后创建UDF函数MaxCompute -> 创建UDF,如图


MaxCompute project选择自己购买或申请的project环境,给自己UDF在Funtion中取个名字,例如utf_demo
找到自己上传的resource,如果有第三方jar包,也需要选中它
最后选择自己的Main class,我这里为Demo,然后点击OK

6.使用UDTF

表TABLE_A:

text
a

select utf_demo(text) as (text) from TABLE_A;

输出:

a -> test

a -> test

a -> test

踩的坑:

1.MaxComputer沙箱环境对FastJson依赖有限制,建议使用GJSON,必要的话可以把FastJson打成JAR包上传资源表。

2.如果使用udtf的话那么SELECT后面只能跟udtf不能跟其他的字段,如果有需要查询其他字段,可把该字段也作为udtf的入参传进去,utf可以跟其他字段。

猜你喜欢

转载自blog.csdn.net/qq_35001776/article/details/85000634
今日推荐