Online Passive Aggressive
Online Passive Aggressive 是在线学习算法，在线学习算法与其它算法的区别在于每次只能得到一个样本点，无法保留历史数据，对每一个新的样本点进行分析，根据分析的结果更新分类器。
Steps
1. 设置参数C (C>0)
2. 设定W的初值wi=(0,...,0)
3. 每接收一个样本Xt, 计算Yt=sign(Wt*Xt)
获取类别yt, 取值为-1或1
4. 计算损失值： lt= max{0, 1-Yt}
5. 更新权值
(1)计算Tt
三种方法
a. Tt = lt/||Xt||2
b. Tt = min{C, lt/||Xt||2}
c. Tt = lt/(||Xt||2+1/2C)
(2) 更新权值
Wt+1 = Wt + Tt*Yt*Xt
Reference