概述
Mapper用以将输入的K-V对映射为一组中间的K-V对。Maps是一些将输入记录转换为中间记录的单个的任务。转换后的中间记录的类型不需要和输入记录的类型相同。一个给定的输入K-V对可能会映射为0个或者多个输出对(output pair)。
Hadoop 的 Map-Reduce框架会为Job的每个 InputSplit 产生一个map task,InputSplit是由 InputFormat 生成。Mapper的实现可以通过 JobContext.getConfiguration()方法来访问job的Configuration;所有与给定输出键相关联的中间值随后按框架分组,并传递给一个Reducer以生成最终的输出。用户可以通过指定两个 key RawComparator 类来控制排序和分组(sortting、grouping)。
Mapper的输出会基于每个Reducer进行分区。用户可以通过实现一个自定义的Partitioner来控制哪些key由分配到哪个Reducer去。
用户还可以通过 Job.setCombinerClass(Class)来指定一个combiner用以执行中间输出的本地合并,该功能有助于减少Mapper到Reducer的数据传输。
应用程序可以知道是否以及如何压缩中间输出,可以通过Configuration配置来指定使用哪种CompressionCodecs(压缩算法)。
如果作业没有reduces任务,那么Mapper的输出将直接写入OutputFormat,而无需按key排序。
Mapper
Mapper有setup(),map(),cleanup()和run()四个方法。其定义如下:
protected void setup(Context context
) throws IOException, InterruptedException {
// NOTHING
}
protected void map(KEYIN key, VALUEIN value,
Context context) throws IOException, InterruptedException {
context.write((KEYOUT) key, (VALUEOUT) value);
}
protected void cleanup(Context context
) throws IOException, InterruptedException {
// NOTHING
}
public void run(Context context) throws IOException, InterruptedException {
setup(context);
try {
while (context.nextKeyValue()) {
map(context.getCurrentKey(), context.getCurrentValue(), context);
}
} finally {
cleanup(context);
}
}
其中,setup()是在一个task执行之前需要完成的准备工作;map() 是对分片中的每一个K-V对进行处理;cleanup()是在task执行完成后进行一些收尾工作。run方法则提供了前面三个方法执行的模板。
用户可以重写此run方法,以更完整地控制Mapper的执行。
参考:
http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapreduce/Mapper.html