《Crossing the Line: Crowd Counting by Integer Programming with Local Features》论文分析

1.基础知识

（1）ROI：感兴趣区域计数 。 LOI：感兴趣线计数
（2）HOG特征：是用于目标检测的特征描述子，将图像局部出现的方向梯度次数进行计数。HOG的特征原理：核心思想是所检测的局部物体的外形可以被光强梯度或者边缘方向的分布所描述。通过将整张图像切割为小的连接区域（称为cell），每个cell 生成一个方向梯度直方图或cell中的pixel的边缘方向，这些直方图的组合可表示出的描写叙述子。提取方法是：（1）灰度化（2）划成小的cell（3）计算每个cell中每个pixel的梯度（4）统计每个cell的梯度直方图

2.论文分析

从实现的角度来分析论文，主要分为以下几个步骤：
（1）对视频中的序列采用混合动态纹理的运动模型实现运动分割（得到感兴趣的人群）
（2）对视频中感兴趣的人群进行线采样处理得到时间切片图像
（3）设置滑动窗口，对窗口内的图像进行密集采样出88的patch。并将其划分为4个44的cell，从中提取有向梯度的局部直方图得到局部HOG特征，之后对这些局部特征集合为一个简洁的特征向量（文中用bag of words直方图来表示）。bag of words这个直方图的每个bin表示局部HOG在图像中出现的次数
（4）时空标准化（可有可无，之前的方法是需要加入时空标准化，但是此方法对时空标准化要求不高）按照时空权重wp、wv缩放高和宽去调整patch的大小
（5）回归：因为人是离散的数值，因此不采用高斯过程回归，而采用贝叶斯泊松回归的方法，得到从输入特征到输出人数的映射。
（6）利用整数规划计数瞬时人数：
设ROI跨越时间i到i+L−1，其中L是ROI的宽度。设ni为第i个时间ROI中的计数，sj为时间j时LOI上的瞬时计数。时间ROI计数ni是ROI时间窗口内瞬时计数sj的总和，即：

得到一个n=As的矩阵运算，然后计算出s矩阵即可。

最后评估方法：累积计数：采用mse以及绝对误差来进行评估
瞬时计数：采用召回距离曲线来进行评估，小于d的时间对应一个分数，反映了d时间内，跨越人数的准确性。

3.优点、局限性以及改进

优点：对时空归一化的要求不高，在闭塞人群中有较好的效果，对目标速度的变化具有鲁棒性。
局限性：跨场景进行预测还是一个需要解决的问题
改进：我的想法是看能不能改进成一个端到端的卷积神经网络来代替上面的繁琐的步骤。