1. 论文信息
- 论文标题 :Visual Tracking with Online Multiple Instance Learning
- 论文作者:
- Boris Babenko,University of California, San Diego
- Ming-Hsuan Yang,University of California, Merced
- Serge Belongie,University of California, San Diego
- 发表会议:CVPR,2009
2. 基础知识
- 目标跟踪的三大要素:图像表示(Image Representation)、外观模型(Appearance Model)和运动模型(Motion Model)。
- 本文中的图像表示为Haar-like特征,外观模型由一个判别分类器组成,运动模型就是在上一帧目标周围取一系列的patches(要求:距离 <
s ),看哪一个patch的概率最高就将新的目标框给它(贪心算法)。 - 本文的重点是外观模型。
- 本文没有考虑旋转和尺度变化。
3. 整体思路
- 只要能够在每一帧中都能应用上述贪心算法,理论上就能实现目标跟踪,那么,程序如何计算各个patches(要求:距离 <
s )的概率呢? - 只要每一帧确定了当前的目标位置,程序就会对外观模型进行更新,实质上是更新判别分类器,新的分类器会对各个patches(要求:距离 <
s )的概率重新进行计算,将概率最大的patch作为新的目标位置。
4. 判别分类器如何更新
- 一旦确定了当前的目标位置,就选取一组patches(要求:
γ < 距离 <β ),把这些patch放到一个包里面,标记为positive,即假设这个包里面的所有patch中,至少有一个是正样本。 - 同时也另选取一组patches(要求:
γ < 距离 <β ),对于这些patch,每个都作为一个独立的包(有多少个patch,就有多少个包),标记为negative,即假设这个包里面的patch是负样本。 - 注意:这里用的判别分类器并不是一个单独的分类器,实际上它由许多独立的基于Haar-like特征的弱分类器构成,将这些弱分类器用线性的方式加起来,就形成了一个Haar级联分类器:
上述公式(1)中的
该论文在更新判别分类器时,核心算法如下所示:
- for
k = 1 toK do - for
m = 1 toM do -
pmij=σ(Hij+hm(xij)) -
pmi=1−∏j(1−pmij) -
Lm=∑i(yilog(pmi)+(1−yi)log(1−pmi)) - end for
-
m∗=argmaxmLm -
hk(x)←hm∗(x) -
Hij=Hij+hk(x) - end for
- for
在上述算法中,第三行中求的是样本的概率,第四行求的是包的概率。
从上面的算法可以看出,本文MIL算法主要依赖对数似然函数进行求解,每处理一帧图像,算法就会采集一些训练样本
{(X1,y1),(X2,y2)⋯} ,其中Xi={Xi1,Xi2⋯} ,这时,算法会通过估计p(y|x) 的值来使对数似然函数最大化,如下所示:logL=∑ilog(p(yi|Xi))(2) 其中,
p(y|x)=σ(H(x))(3) 而
σ(x)=11+e−x(4) σ(x) 是Sigmoid函数,其中x 为H(x) ,表示分类器的结果。
5. 一些不足及相应的修补方法
- 对于positive包,一个包中有多个实例,文章在计算时假定这些实例全部为正样本,这种假设离真实情况存在差异,其补救办法是:基于似然损失函数来选择弱分类器
h 。 - 在选择弱分类器时,没有采用系数,文章没有对此问题加以补救,文章认为这并没有影响性能。
- 似然函数在计算时,仅仅依据当前的样本,可能导致对当前样本的过拟合,文章通过保留历史数据的做法进行修补(前面的算法有没有体现这种思想?)
6. 实现细节
在文章中,每一个弱分类器
hk 由一个Haar-like特征fk 以及对应的4个参数构成,弱分类器返回一个对数概率,如下所示:hk(x)=log[pt(y=1|fk(x))pt(y=0|fk(x))](5) 其中,
pt(ft(x)|y=1)∼N(μ1,σ1)pt(ft(x)|y=0)∼N(μ2,σ2)(6)
文章令p(y=1)=p(y=0) ,采用贝叶斯来计算hk(x) 。当这个弱分类器接收了一组新数据{(x1,y1),(x2,y2),...,(xn,yn))} 时,更新的原则如下所示:
μ1←γμ1+(1−γ)1n∑i|yi=1fk(xi)σ1←γσ1+(1−γ)1n∑i|yi=1(fk(xi)−μ1)2−−−−−−−−−−−−−−−−−√(7)
其中,γ 被称为学习率参数。对
μ0 和σ0 的更新原则也是一样的。上述弱分类器函数
hk(x) 的计算在配套代码中有所体现,比如:
x = samples.feature;
p0 = exp((x - mu0).^2.*e0).*n0;
p1 = exp((x - mu1).^2.*e1).*n1;
r = log(eps + p1) - log(eps + p0);
7. 源码分析
- 源码中几个重要的步骤有:采样、为每个样本计算Haar特征、更新弱分类器和选择分类器,其中更新弱分类器有三个相关函数(weakClassifierUpdate、weakClassifier、MilBoostClassifierUpdate)。
- 函数weakClassifierUpdate、weakClassifier、MilBoostClassifierUpdate之间的区别在于,weakClassifierUpdate 主要用于更新
μ 和σ ,weakClassifier。 主要用于存放各个弱分类器对各个样本的分类结果, MilBoostClassifierUpdate主要用于选出50个分类器。 - 算法的主要结构如下图所示: