解决datax抽取hdfs文件有空文件时报错

抽取hdfs文件时,当目录下有空文件时,会报以下错误

修改源码如下:

 

// add by liuzc
                if (f.getLen() == 0) {
                    String message = String.format("code add by liuzc _文件[%s]长度为0,将会跳过不作处理!", f.getPath().toString());
                    LOG.warn(message);
                }else {
                    addSourceFileByType(f.getPath().toString());
                }

重跑任务结果:

发现任务不会报错了

发布了79 篇原创文章 · 获赞 107 · 访问量 8万+

猜你喜欢

转载自blog.csdn.net/zuochang_liu/article/details/91464585
今日推荐