前景提要:
这篇论文是Multi-frame quality enhancement for compressed video(CVPR 2018)的期刊版本,2019年9月26日被TPAMI(2018年IF=17.730)接收。博主和关振宇导师是共同一作,徐迈老师是通讯作者、第三作者。
要点
本文提出了一种针对压缩视频的质量增强方法。创新点:
- 前人的工作大多忽略了帧间相关性。本文利用了视频的帧间相关性。
- 我们应该是第一个考虑了压缩视频的特性:质量波动。
- MFQE应该是第一个运动补偿+质量增强的end-to-end方法。
- 本文提出的方法,核心思想是好帧补偿差帧,是非常具有insight的方法。
我们看图说话:
- 如图上半部分黑线,压缩视频中存在显著的质量(本文考虑PSNR)波动状况。其中,第92帧和第96帧达到了PSNR局部极大值点,中间的第95帧处在PSNR局部极小值点。
- 如图下半部分,质量好帧——第92和96帧中的篮球比较清晰,而质量差帧——第95帧中的篮球质量很差(马赛克严重)。
- 在我们的MFQE算法中,在增强第95帧时,92帧和96帧的信息也会被参考,使得增强效果显著好于图像增强方法DS-CNN(橙色框)。
压缩视频特性分析
质量波动
首先,我们以压缩视频库中的6个视频为例,看一看质量波动性:
可见,无论是HEVC、H264还是MPEG-1/2/4,这种质量波动性都是存在的,并且在HEVC中尤为明显。本文以HEVC为主要分析对象。
进一步,我们对这种质量波动性进行量化。我们衡量两个指标:
- 相邻的好帧和差帧的PSNR差值。差值越大,说明局部质量波动越厉害。这就是所谓的峰值-谷值差值(Peak-Valey Difference, PVD)。
- 整个视频PSNR的标准差。标准差越大,说明该视频的PSNR越不稳定,即全局质量波动越厉害。这就是文中的SD。
我们在整个视频库(108个视频)中统计了上述两个指标的平均值,结果如表:
质量波动性有两点意义:
- PVD大,说明好帧、差帧质量差距大,说明差帧借助好帧提升质量的潜力很大。
- SD大,说明好帧补偿差帧的方法非常适用于压缩视频。
帧间相关性
进一步,我们得看看好帧补偿差帧是否可行。我们测量了相邻若干帧的两帧之间的相关系数及其标准差,如图:
结果说明:
- 时序相关性很强:前后距离10帧内,平均相关系数都能超过0.75。
- 时序相关性保持较稳定:标准差较小。
那么,压缩视频中好帧(局部质量峰值)之间的平均距离大概是多少呢?我们在上一个表格中展示了PS这个指标,在HEVC大概是2.66。好帧之间的距离如此近,结合上图可知,两个相邻好帧 与它们中间的差帧 之间的相关性极高。
总之,我们的思想是有前景的!