1. mapper 分片 数量 解释
PS : 这里面还没有进行reduce 之前的shuffer , shuffer会把每个单词发送的不同的机器 ,
假如有两个reduce , 那么相同颜色的都在一个节点上面 ,
2.
3.reduce 之前必须shuffer
这是在有两个reducer的情况下 , 得到的结果
这是总共只有一个reduce的情况下 , 生产环境中 , 很容易造成压力过载!
1. mapper 分片 数量 解释
PS : 这里面还没有进行reduce 之前的shuffer , shuffer会把每个单词发送的不同的机器 ,
假如有两个reduce , 那么相同颜色的都在一个节点上面 ,
2.
3.reduce 之前必须shuffer
这是在有两个reducer的情况下 , 得到的结果
这是总共只有一个reduce的情况下 , 生产环境中 , 很容易造成压力过载!