HIVE-shuffle阶段的oom处理方法

工作中碰到的问题,现在记下来以后好找。
1.增加reduce数(set mapreduce.job.reduces=xxx)或者
set hive.exec.reducers.bytes.per.reducer=150000000;默认是1G
2.或调整放在内存里的最大片段所占百分比
set mapreduce.reduce.shuffle.memory.limit.percent=0.10)。
SHUFFLE_INPUT_BUFFER_PERCENT = “mapreduce.reduce.shuffle.input.buffer.percent”; 默认0.7
SHUFFLE_MEMORY_LIMIT_PERCENT = “mapreduce.reduce.shuffle.memory.limit.percent”; 默认0.25
SHUFFLE_MERGE_PERCENT = “mapreduce.reduce.shuffle.merge.percent”; 默认0.66
shuffle阶段的Fetcher过程中出现内存溢出。SHUFFLE_INPUT_BUFFER_PERCENT是指在总的HeapSize中 shuffle占得内存百分比我们总的HeapSize是1.5G,那大概Fetcher就是1.0G。 SHUFFLE_MEMORY_LIMIT_PERCENT是指的map copy过来的数据是放内存中还是直接写磁盘。 超过1.5GX0.7X0.25=250M的都放在磁盘中,其它开辟内存空间,放在内存中。 SHUFFLE_MERGE_PERCENT是指merge的百分比,超过这个百分比后停止fetcher,进行merge,merge到磁盘中。

一般用第二种方法就可以解决了,但是因为写的内存从0.25变成0.1,速度会变慢。

猜你喜欢

转载自blog.csdn.net/weixin_42262699/article/details/88250900