论文题目:High-Speed Tracking with Kernelized Correlation Filters
作者主页:http://www.robots.ox.ac.uk/~joao/circulant/
在非线性回归条件下,最终的滤波器解为
其中,若采用高斯核,则
以下是该公式的推导过程。
1. 将线性问题的输入映射到非线性特征空间
该过程包含两个方面:
(1)将线性滤波器的解
在这样的条件下,最优化下的变量不再是
(2)用点积进行表示:
因此,在线性条件下的回归问题:
其中
2. 推导核化滤波器
在核函数情况下,岭回归问题的解为
其中,
利用循环矩阵的有关特性,对公式(6)进行对角化处理,可以提高计算效率。
2.1 Base sample + 置换矩阵 ⇒ 循环矩阵
训练时,采集一个感兴趣的图像块,将其拉伸为一个列向量作为基础样本(base sample),记作
尝试计算
尝试计算
尝试计算
…
尝试计算
由此可以将上述
2.2 一个重要结论
首先指出该重要结论(即KCF论文中的Theorem 1):假设存在一种核函数
证明:根据矩阵
数据内容: | |||
---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
同时根据定义,
数据内容: | |||
---|---|---|---|
|
|
|
|
现在,观察
而
另外前面已经做好假设,存在一种核函数
数据内容: | |||
---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
观察该矩阵数据,可以发现该矩阵的第二行是第一行的位移,第三行又是第二行的位移…,这就是
证明完毕。
进一步结合本笔记2.1节中关于置换矩阵(permutation matrix)的移位作用,我们有
从核函数角度来看,上式即为
2.3 核化滤波器表达式
从前述公式(6)开始,利用2.2节的重要结论,将公式(6)中的矩阵
公式(8)中的
现在利用傅里叶矩阵
将公式(9)两边同时左乘
根据傅里叶变换的定义,我们可以将
由于一个对角矩阵(diagonal matrix)与一个向量相乘,相当于元素级的乘法,因此
最后,等式两边同时取共轭,有
其中,
3. 快速检测
上文已经推导出了非线性条件下滤波器的求解公式,在得到了滤波器后,我们可以对视频中某一帧中的图像块进行检测以求出目标的位置,这样待检测的图像块称之为
3.1 快速检测表达式引入
回顾公式(5)
公式(5)求解的
可得
注意:岭回归问题中,正则项仅仅用来求解
论文认为:为了检测到目标,应该从多个候选样本中进行评估(见论文5.3节),仍然采用循环矩阵,对待检测的图像块
其中,
3.2 快速检测表达式推导
现在推导上述公式(15),由公式(5)可以推出
其中
将公式(16)展开,可得
再结合上述关于
其中
至此,公式(15)推导完毕。
3.3 利用循环矩阵性质,对快速检测表达式进行优化
上述推导仅仅涉及到
由此公式(15)可表示为
利用循环矩阵的转置性质 4
有
于是,公式(21)可以改写为
再将上式两边同时进行傅里叶变换,得
利用循环矩阵的转置性质 5
利用循环矩阵的卷积性质 6,上述(25)式可以进一步改写为
将上式两边的傅里叶变换符号改用hat符号表示,得
这也就是KCF论文中的(22)式,至此快速检测公式的推导也就完成了。
循环矩阵转置性质:循环矩阵的转置也是一个循环矩阵(可以查看循环矩阵各元素排列证明),其特征值和原特征值共轭,即
XT=Fdiag((x^)∗)FH(29)
循环矩阵卷积性质:循环矩阵乘向量等价于生成向量的逆序和该向量卷积,可进一步转化为福利也变化相乘。 注意卷积本身即包含逆序操作,另外利用了信号与系统中经典的“时域卷积,频域相乘”。卷积性质表示为
F(Xy)=F(C(x)y)=F(x¯∗y)=F∗(x)⊙F(y)(30)
其中x¯ 表示将x 的元素倒序排列,星号表示共轭。(摘自:循环矩阵傅里叶对角化 )
4.快速核相关
在上述非线性滤波器求解以及快速检测的公式中,分别出现了
4.1 点积与多项式核
点积核函数的形式为
其中
这样,可得
将(32)式详细表示,有
由于函数
这里可以举一个例子来确认
⎡⎣⎢⎢⎢⎢x′TP0xx′TP1xx′TP2x⋯⎤⎦⎥⎥⎥⎥=C(x)x′ ,令
x′=⎡⎣⎢⎢⎢1234⎤⎦⎥⎥⎥,x=⎡⎣⎢⎢⎢0001⎤⎦⎥⎥⎥,P=⎡⎣⎢⎢⎢0100001000011000⎤⎦⎥⎥⎥
则
P0x=⎡⎣⎢⎢⎢0001⎤⎦⎥⎥⎥,P1x=⎡⎣⎢⎢⎢1000⎤⎦⎥⎥⎥,P2x=⎡⎣⎢⎢⎢0100⎤⎦⎥⎥⎥,P3x=⎡⎣⎢⎢⎢0010⎤⎦⎥⎥⎥,C(x)=⎡⎣⎢⎢⎢0100001000011000⎤⎦⎥⎥⎥
其中是将前面的P0x,P1x,P2x,P3x 变为行向量,再按行进行拼接而成( 注:目前本人不确定这样按行拼接是否规范,只是这样做能够将KCF中的公式解释清楚)。
进一步,有
显然
因此(34)式成立,其等式最左边的
根据(30)式循环矩阵卷积性质,有
其中,字母右上角的星号表示共轭矩阵,字母上方的hat标记表示傅里叶变换,它与
对于多项式核函数,其函数形式为
将(39)式中的
现在令
(41)式即为多项式核函数下的核相关,该式可用于滤波器的求解以及快速检测。
4.2 径向基函数7与高斯核
径向基核函数的形式为
与(32)式类似,可得
其中,
关于(43)式中
证明:令
那么
即
此外,(43)式可进一步简化为
变化在于省略了一个置换矩阵系数
现在回顾(32)式与(38)式
可以构造出(44)式对应的向量版本
(45)式最后一步省略了
这样,将(46)式代入到(45)式中,可得
(47)式即为高斯核函数下的核相关,该式可用于滤波器的求解以及快速检测。
本文的公式推导,离不开博主shenxiaolu1984、博主mhz9123、博主zwlq1314521等人的贡献,在此表示感谢!
- 线性条件下滤波器的解,其最终表达式为:
w^=x^∗⊙y^x^∗⊙x^+λ ,推导过程参考:http://blog.csdn.net/discoverer100/article/details/53835507 ↩ - 线性条件下滤波器的解,其最终表达式为:
w^=x^∗⊙y^x^∗⊙x^+λ ,推导过程参考:http://blog.csdn.net/discoverer100/article/details/53835507 ↩ - 线性条件下滤波器的解,其最终表达式为:
w^=x^∗⊙y^x^∗⊙x^+λ ,推导过程参考:http://blog.csdn.net/discoverer100/article/details/53835507 ↩ - 参考《循环矩阵傅里叶对角化》:http://blog.csdn.net/shenxiaolu1984/article/details/50884830 ↩
- 参考《循环矩阵傅里叶对角化》:http://blog.csdn.net/shenxiaolu1984/article/details/50884830 ↩
- 参考《循环矩阵傅里叶对角化》:http://blog.csdn.net/shenxiaolu1984/article/details/50884830 ↩
- 参考Radial basis function kernel - Wikipeia:https://en.wikipedia.org/wiki/Radial_basis_function_kernel ↩
- 参考Euclidean distance - Wikipedia:https://en.wikipedia.org/wiki/Euclidean_distance#Squared_Euclidean_distance ↩