使用二阶梯度作正则项交叉训练参数
在上周五讨论时关于交叉训练"语义概念参数"和"视觉概念参数"时我们说到了导致正确率底下的两个缺陷:
- 训练样本少:这个即将解决,因为我们上次讨论将进行关于"指令"的概念训练,这比需要逻辑推理的任务更加简单,而也可以生成更多的样本;
- 训练方式的问题。现在我引入一个有效的正则项:这是在凸优化的数学原理上来优化,这是本文要谈的;
值得注意的是,这个方法(用二阶梯度作正则项)不止对我们当前这个任务适用,我更感觉这是一个通用的适用于损失是凸函数的方法;
再谈模型的损失
注意我们上次说到,模型的预测是one-hot形式的空间概念指代:[上下,左右,左上右下… …],那么最后一层适用softmax交叉熵损失来做,那么损失是:
L(As)=−y^⊙log(fsoftmax(As⊙C∗T))
另一边,我们说到,
As也在另一个网络中发挥权重参数的作用,我们令来自那个网络的损失为
L^(As);下面我们将证明,这是一个凸函数。
softmax是凸函数
这个证明也可以跳过,只需要记住softmax是凸函数这个结论也行,证明如下,softmax的交叉熵损失是:
L(w1,w2,⋯,wk)=−m1[i=1∑mj=1∑k1{y(i)=j}log∑l=1kewlTx(i)ewjTx(i)]
现在令 :
aj=∑l=1kewlTxewjTx
分情况,当
n̸=j:
∇wnaj=−(∑l=1kewlTx)2ewjTxewnTxx=−ajanx
当
n=j:
∇wjaj=(∑l=1kewlTxewjTx−∑l=1kewlTxewjTx∑l=1kewlTxewjTx)x=aj(1−aj)x
所以有:
∇wnC=−m1i=1∑m⎝⎛j̸=n∑−1{y(i)=j}ajan/ajx(i)+1{y(i)=n}an(1−an)/anx(i)⎠⎞=−m1i=1∑m[x(i)(1{y(i)=n}−an)]
注意
1{y(i)=j}只有当
y(i)=j时为一,那么下式为半正定矩阵,因而对于softmax而言,交叉熵为凸函数:
∇wn2C=−m1i=1∑m∇wn[x(i)(1{y(i)=n}−an)]=m1i=1∑man(1−an)x(i)x(i)T
L^(A+αΔA)的一个上界的证明
注意参数
A的更新方式采取最简单的SGD:
At+1←At+α∇AL^
证明:当
∇A2L^≤MI时:
L^(A+αΔA)≤L^(A)+γ∣∣∇AL^∣∣2
proof:
首先易知
−∇AL^(A)=ΔA;现在我们对
L^(A+αΔA)作Taylor展开:
L^(A+αΔA)=L^(A)+α∇AL^(A)⊙ΔA+∇A2L^∣∣ΔA∣∣2α2/2
≤L^(A)+α∇AL^⊙(−∇AL^)+M∣∣ΔA∣∣2α2/2
=L^(A)+(α2M/2−α)∣∣∇AL^∣∣2
现在令
γ=α2M/2−α≤0即可满足:
L^(A+αΔA)≤L^(A+αΔA)+(α−α2M/2)∣∣∇AL^∣∣2≤L^(A)
得证
□;
最终的正则项
现在我们已知,只需要
∇A2L^≤MI,就可以使得每一步梯度更新保证减小目标函数;我们的正则项是
λ∇A2L^M∣∣I∣∣2,最终的损失是:
L(As)=−y^⊙log(fsoftmax(As⊙C∗T))+λ∇As2L(As)^M∣∣I∣∣2
还没有验证实验效果,本周马上会使用这个损失来训练概念学习模型。