Hue中使用Oozie的workflow执行MR过程

写在前面：研究所里搭建了一套CDH5.9版本的hadoop集群，以前一直使用命令行去操作，这几天尝试Hue中使用Oozie的Workflows去执行MR程序，发现踩了好多坑（以前没使用过，也没找到相应的教程，如果有知道的好的教程不妨留下不甚感激）。
坑1：标准的MR程序在linux命令行执行的时候能够正常输出正确的结果，但是使用Workflows去执行的时候就会按照原文件的行数据输出。
坑2：MR程序的编写
坑3：无论用命令行还是Workflows执行MR程序，结果发现输出多文件，而且很多文件都是空文件。

1.新建一个workflow

这里写图片描述

新建一个workflow,这里取名为My test，还可以进行相关的描述，右上角的Workspace可以查看该workflow的工作目录，打开的时候里面是空的，只有当你提交了workflow后再工作目录下面就会生成相对应的workflow.xml还有lib目录(里面存放依赖的jar包)以及job.properties

这里写图片描述

2.编辑这个workflow

从上面的ACTIONS中拖一个Mapreduce action到Drop your action here地方去，然后就会转到mapreduce的编辑界面。

这里写图片描述

这里面，Jar name需要你选择相对应的你写好的wordcount程序打成的jar包，而且这个jar包必须上传到HDFS目录下，这里面我存放在/user/xudong目录下。

然后点击PROPERTIES+添加相对应的属性（一般指的是你在编写mr程序时main方法里面设置的一系列属性参数）。

这里需要注意的地方是：
a.如果在linux命令行下执行mr程序，需要你自己在程序里面写main方法然后设置job一系列的属性（指定job的map和reduce类，输出输入等）；但是hue中使用Oozie的workflow执行mr的时候，不需要写main方法，也就是说只需要编写map类和reduce类（或者partitin等类）。这是坑1。
b.输入和输出的参数写的是${inputDir}和${outputDir}，这样写的目的是提交的时候会弹出一个对话框需要你指定输入和输出的路径，同样的也可以写上相对应的路径。

这里写图片描述

3.提交workflow
如上图，当你将输入和输出的路径写完后，点击submit就可以提交作业运行了。

属性参数说明：
mapreduce.input.fileinputformat.inputdir【${inputDir}】：输入目录参数

mapreduce.output.fileoutputformat.outputdir【${outputDir}】：输出目录参数

mapreduce.job.map.class【com.mr.simple.WordCount$TokenizerMapper】:

指定map类（这里的WorCount是类的名称，$TokenizerMapper是指map类）

mapreduce.job.reduce.class【com.mr.simple.WordCount$IntSumReducer】：指定reduce类

mapreduce.job.output.key.class【org.apache.hadoop.io.Text】：指定map和reduce的key输出格式

mapreduce.job.output.value.class【org.apache.hadoop.io.LongWritable】：指定map和reduce的value输出格式
（如果两者的输出格式不相等，还需要继续添加参数分别设置）

mapred.mapper.new-api【true】和mapred.reducer.new-api【true】：设置使用新的api

mapreduce.job.reduces【1（数量）】：设置reduce的task数量（指定reduce的数量后，输出就没有很多的空文件，坑3）

4.wordcount的MR程序编写

这里为什么要提到这个，是因为网上的博客各种改写了MR程序，在执行的过程中会出现各种错误，建议使用官网的标准的编写格式（建议下hadoop中的examples中的源码研究一番）。程序如下：

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  //注意：如果使用workflow执行，main方法一定不要写！！！
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

Hue中使用Oozie的workflow执行MR过程

猜你喜欢