Reducer数目最佳值的设定
reducer slots的总数 = 集群中的总的节点数*每个节点有多少个slots
Reducer数目的最佳值和reducer slots的数目有关，通常情况下让Reducers的数目略小于reducer slots的数目
在设置Reducer的数目的时候也要考虑Mapper的数量，如果Reducer的数量大于Mapper的数量的话，那么就会造成在执行的过程中多出的Reducer不会工作，造成资源的浪费
Reducer数目最佳值的设定
猜你喜欢
转载自oaksun.iteye.com/blog/1945745
今日推荐
周排行