版权声明：belongs to tony2278 https://blog.csdn.net/tony2278/article/details/88425308
利用光流算法评估了两帧图像的之间的变化，Lucas–Kanade 光流算法是一种两帧差分的光流估计算法。它计算两帧在时间t 到t +δt 之间每个每个像素点位置的移动。是基于图像信号的泰勒级数，就是对于空间和时间坐标使用偏导数。
首先要用到shi-Tomasi 算法，该算法主要用于提取特征点，即图中哪些是我们感兴趣需要跟踪的点，对应函数为cvGoodFeaturesToTrack（），可以自定义第一帧特征点的数目，函数将输出所找到特征值。接下来是cvCalcOpticalFlowPyrLK 函数， 实现了金字塔中Lucas-Kanade 光流计算的稀疏迭代版本。 它根据给出的前一帧特征点坐标计算当前视频帧上的特征点坐标。输入参数包括跟踪图像的前一帧和当前帧，以及上面函数输出的前一帧图像特征值，自定义的迭代标准，输出所找到的当前帧的特征值点。这些点可以确定面部局部区域的特征 如眼部，鼻子高度与宽度，嘴部两侧与底部的夹角等等，利用与前一帧的特征比较，可得出反应脸部动态变化的参数，这些数据可以与脸部的一些简单表情相关联。下面图4 为跟踪眼睛上下眨动的图像。
图4 跟踪眼部上下眨动图像
光流也可以利用深度学习的模型来做，把左右两图用同样的模型来提取特征，经过计算就能得出一个深度的信息。但是这个方式的计算量非常大。对感知有兴趣的同学可以学习一下OPENCV以及基本的卷积网络识别例子，比如基于LENET的数字识别。
From：1 https://www.jianshu.com/p/3e4b08b8ef19