学习机器学习的时候有涉及到共轭函数(也叫对偶函数),这边文章总结一下共轭函数的学习
共轭函数的定义:对于函数 其定义如下:
表示函数的定义域,可以这样理解这个函数:首先它是关于的函数,给定一个 值时,关于的函数 在定义域上的最大值,即 对应的值
共轭函数在支持向量机的数学理论证明有涉及过,在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用(听说待学习)
因为它有两个非常好的性质:
1. 无论是否是凸函数,其共轭函数都是凸函数
2. 凸函数的共轭函数的共轭函数是它自己
首先解释一下凸函数,机器学习里面的的凸函数和以前高中数学学到的凸函数有点不一样,在机器学习里面 是凸函数,是凹函数,简单来说,机器学习里面的凸函数有下面的性质(也是凸函数的定义之一):
可以简单的从下图理解:()
现在来证明共轭函数第一条性质,即:
1. 无论是否是凸函数,其共轭函数都是凸函数
等价要证明:
代入共轭函数的定义,上述不等式等价于:
上述不等式左边等价于:
假设在出取到最大值,上式等于:
而
和相加,右边把和从里面提取出来,即等于公式的右边,由此可证公式
证明共轭函数的第二条性质,即:
2. 凸函数的共轭函数的共轭函数是它自己
函数 的共轭函数如下:
由于是凸函数,给定,关于的函数最大值在导数等于的时候取得,(可以想象一下 )
即:
即对于给定, 对于的 是 的最大值,所以又可以写成:
的共轭函数如下:
同理,对于给定的, 时,取最大值
结合公式(由于公式,x可以看成关于t的函数,根据复合函数求导和乘积求导法则,可以得到下面的等式):
代入公式,上述等式等价于:
即对于给定的, 时, 取最大值,即:
代入 :
即f(x)的共轭函数的共轭函数是它自己