计算平台追求目标:目前内部 MaxCompute 集群上有 200 多万个任务,每天存储资源、计算资源消耗都很大。 如何降低计算资源的消耗,提高任务执行的性能,提升任务产出的时间。
1.系统优化
(1)HBO (History-Based Optimiz町, 基于历史的优化器)
(2)CBO (Cost-Based Optimizer , 基于代价的优化器)
收集到的表、分区、索引等统计信息来计算每种执行方式的代价( Cost ),进而选择其中代价最少的执行方式。
但对表和列上统计信息的收集也是有代价的,收集统计信息会消耗大量资源。MaxCompute 采用各种抽样统计算法,通过较少的资源获得大量的统计信息,最大化提高统计信息利用率。
2.任务优化