Multi-Instance Learning 和 Latent SVM


MIL和weakly supervised learning有扯不清的关系(有点虾和蛋的关系)。

Pedro的Latent SVM算是MILSVM的一个变种,相当于在MIL上加上技巧就可以实现Latent SVM,既然是技巧,就是没有大的理论突破。

那仔细看下它们的公式

1. basic linear SVM

这是个convex-problem,可以用lagrangian function来表述,PRML ch7中有讲,不赘述。


2.MIL SVM

约束条件发生了变化,从多个候选正样本集(不一定都是正样本)中自动找到最像正样本(max)的样本进行训练,从负样本集中找离分界面最近的样本作为训练负样本。因此可以认为MIL以最大化样本集间隔作为优化目标,这就是一个迭代优化问题。详见论文吧,也不赘述。


3.Latent SVM
看看pedro自己怎么说的吧:
“To train models using partially labeled data we use a  latent variable formulation of MI-SVM [3] that we call  latent SVM (LSVM).   ”

人家自己都这么说了,咱也不说啥了,直接上公式吧


这是一个semi-convexity problem,可以用coordinate descent来求解该问题


 
   
initial Beta
 
step1Relabel postive example
 
step2Optimize beta
 
upto convergence

详细看pedro PRMI上的论文吧,这里不赘述。


三者的区别从公式角度简洁的列一下,感觉MIL和weakly supervised learning是个大坑,可以乘不少水。再列点资源吧:


(1) MIL的论文参考:
S. Andrews, I. Tsochantaridis, and T. Hofmann, “Support vector machines for multiple-instance learning,” in  Advances in NeuralInformation Processing Systems, 2003.
作者主页上有文章和实验数据下载

(2) MIL工具包
MILL: A Multi-Instance Learning Library

猜你喜欢

转载自blog.csdn.net/loadstar_kun/article/details/41145665