项目地址:http://vis-www.cs.umass.edu/motionSegmentation/
方法
如果相机相对背景的运动只有平移(没有旋转),背景光流的有很强的约束,由相机平移、图像坐标和焦距决定的像素运动方向和场景深度无关。
对于平移旋转混合的情况,从原始光流中减去估计的旋转成分,得到一个平移成分的估计。
用于运动分割的概率模型
给定帧的运动分割,共有个运动目标,光流,分割帧需要几个先验:
- 对于每个特定的运动模型,每个像素属于该模型的先验概率
- 对于前一帧的个运动目标,他们在相邻帧之间的3D运动方向的估计
- 对于每一个像素位置,在每个以向量大小为为条件的运动模型的先验下,该像素位置的一个运动方向角的概率
- 一个新运动的先验概率和角可能性分布
有这些先验和概率,使用贝叶斯原理去得到每个像素位置中每个运动的后验概率:
第二个等号时因为的概率和无关(不理解)
Bruss and Horn's 运动估计
1983年的工作……没心思去看,大概的意思是估计相机相对背景的运动方向。
把Bruss and Horn 方法用于通过背景先验选择的像素:
光流可以被分解为,是在运动模型推导的方向上的分量,则是与正交的分量,Bruss and Horn方法就是寻找一个运动模型使得的和最小,只有平移的优化如下:
对于只有平移的情况,Bruss and Horn方法给出了这优化问题的一个近似形式的解。
文章使用了自己的方法估计旋转和平移,使用的是一个嵌套的优化:
给定观测光流的的旋转成分,由于旋转成分和场景几何无关,可以从观测光流中减去旋转成分:
初始化:分割第一帧
初始化的目标有
- 估计背景平移和旋转参数
- 找到符合背景运动的像素点集合
- 为额外的运动模型分配不一致的连续像素组,即剩下的像素点的分割
Bruss and Horn 方法并非用于处理有多个不同运动的场景,并且太大或者高速移动的前景目标会导致一个很差的运动估计。如下图所示
使用改进版本的RANSAC处理上述问题,鲁棒地估计背景运动。如下图所示
文章中使用了10个随机的SLIC超像素去估计相机运动。
通过修改RANSAC算法使得算法选择从图像角落选择3/10的超像素,因为由于对相机旋转的错误估计,图像角落倾向于错误结果。