splitSize=max{minSize,min{maxSize,blockSize}}
map数量由处理的数据分成的block数量决定default_num = total_size / split_size;
reduce的数量job.setNumReduceTasks(x);x 为reduce的数量.
【欢迎在文末发表意见，讨论交流】
如何决定一个job的map和reduce的数量（大数据开发面试）
猜你喜欢
转载自blog.csdn.net/wyqwilliam/article/details/81031656
今日推荐
周排行