三个参数决定Map的Split尺寸
1.mapred.min.split.size
2.mapred.max.split.size
3.dfs.block.size
根据公式:
max(minimumSize,min(maximumSize,blockSize))
默认情况:
minimumSize < blockSize < maximumSize
例子:
min max block split
1M 100M 64M 64M
128M 512M 64M 128M
1M 32M 64M 32M
Hadoop 控制split尺寸
猜你喜欢
转载自marsorp.iteye.com/blog/1611095
今日推荐
周排行