输入：
以滑动窗口的形式对hdfs中的block切片，split， 切片的大小默认==block大小，实际情况还需要根据计算形式：cpu密集型还是I/O频繁型来决定，切片的大小，split切片可大于，也可小于block大小
mapTask:
每一个split中的每一条记录，记录可以用任何标识符分割，每一条记录调用一次map方法，map方法的输出是[K,V]，经过计算，得到的输出是[K,V,P]
[K,V,P]存入内存缓冲区，内存buffer默认大小为100MB，在内存中先进行一次快速排序，也是一个二次排序，先按分区P排序，再按K排序，排序的结果是分区有序，分区内K有序，
当map没有输出，溢写的多个小文件，进行了归并排序，得到了一个大文件，分区有序，分区内K有序
reduceTask:
shuffer，洗牌，每一个reduce都有自己的分区号，去mapTask中拉取自己分区号的数据
拉取的数据是多个小文件，这些小文件是内部K有序，外部无序的状态，归并排序后，得到一个大文件，这个文件是中，K是有序的，最终实现了分组，group，相同K的数据放在一起，分组是K值相同实现的
每一组调用一次reduce方法
输出：
reduceTask把输出结果写入hdfs，按照hdfs写流程，就完成了整个操作
MapReduce整体流程简述
猜你喜欢
转载自blog.csdn.net/educationer/article/details/90030604
今日推荐
周排行