原文作者：@qiuhlee
本文转载自：https://www.cnblogs.com/qiuhlee/p/9298877.html

MM算法思想

MM算法是一种迭代优化方法，利用函数的凸性来寻找它们的最大值或最小值。 MM表示 “majorize-minimize MM 算法” 或“minorize-maximize MM 算法”，取决于需要的优化是最小化还是最大化。实际上，MM本身不是算法，而是一种如何构造优化算法的描述。

MM算法是一种迭代优化方法，它利用函数的凸性来找到原函数的最大值或最小值。当原目标函数 $f(\theta)$ 较难优化时，算法不直接对原目标函数求最优解，而去求解逼近于原目标函数的一个易于优化的目标函数 $g(\theta)$ ，通过对这个替代函数求解，使得 $g(\theta)$ 的最优解逼近于 $f(\theta)$ 的最优解。每迭代一次，根据所求解构造用于下一次迭代的新的替代函数，然后对新的替代函数最优化求解得到下一次迭代的求解。通过多次迭代，可以得到越来越接近目标函数最优解的解。

目标函数最小化问题：

此时，MM算法具体为Majorize-Minimization：每次迭代找到原非凸目标函数的一个上界函数，求上界函数的最小值。

目标函数最大化问题：

此时，MM算法具体为Minorize-Maximization：每次迭代找到原非凸目标函数的一个下界函数，求下界函数的最大值。

期望最大化(EM)算法可以被视为MM算法的特殊情况，在机器学习中经常用到。MM算法与EM算法有联系但是又有区别，在EM算法中通常涉及条件期望，而在MM算法中，凸性和不等式是主要焦点。

以Minorize-Maximization为例, 使目标函数 $f(\theta)$ 最大化。

在算法的第 $m(m=0,1...)$ 步，若满足以下条件，则目标函数 $f(\theta_m)$ 可用构造函数 $g_m(\theta_m)$ 代替。

$g_m(\theta) \leq f(\theta_m) \ \ \ \ \ \forall \theta \ \ \ \ \\ g_m(\theta_m) = f(\theta_m)$

MM算法步骤

使 $m = 1$ ，并初始化 $\theta_0$ 。
构造 $g_m(\theta)$ 满足条件 $(1)$ 和 $(2)$ 。
令 $\theta_{m+1}=\arg\underset{\theta }{\mathop{\min }} \ g_m(\theta)$ 。
使 $m=m+1$ ，返回步骤2。

$\theta_m$ 和目标函数的替代函数的迭代步骤如下图所示。

由以上条件可得如下不等式：

$f(\theta_{m+1}) \geq g_m(\theta_{m+1}) \geq g(\theta_m|\theta_m) = f(\theta_m)$

博主不定期发布『保研/推免、C/C++、5G移动通信、Linux、生活随笔』系列文章，如果觉得本文对你有帮助，可以『点赞＋关注』支持一下哦！

MM(Majorize-Minimization, Minorize-Maximization)优化方法

MM算法思想

MM算法步骤

猜你喜欢