set hive.map.aggr=false;
set hive.optimize.skewjoin=true;
set hive.exec.reducers.max=100;
设置了这个几个参数后。 是可以正常跑完的。
set hive.map.aggr.hash.min.reduction=0.5;设置这个不禁止mapagg的话,也是会挂掉。
-------------------------------
其他
hive.map.aggr=true;在map中会做部分聚集操作,效率更高但需要更多的内存。
hive.groupby.mapaggr.checkinterval:在Map端进行聚合操作的条目数目
http://dacoolbaby.iteye.com/blog/1984327
hive map端聚合
猜你喜欢
转载自sysutao.iteye.com/blog/2223738
今日推荐
周排行