《基于神经网络中自然化模型的屏幕图像质量评价》
- 数据库:SIQAD [1],SCID [2]
- 衡量指标:Pearson Linear Correlation Coefficient (PLCC)、Spearman Rank Order Correlation Coefficient (SROCC)、Root-Mean-Square Error (RMSE)
- 创新点:
1、通过对屏幕内容图像(SCI)进行插值,即自然化的过程,降低SCI与自然图像(NI)之间的特性差异,从而使得传统针对NI设计的质量评价算法在SCI上有泛化能力;
2、设计了一个针对SCI特性的网络结构;
3、针对SIQAD做了数据增强处理。 - 流程:
上图看起来可能比较复杂,简化如下:
1)首先是一个本文创新点之一的naturalization过程,本质就是对128*128的图像块进行双三次插值,但是插值会出现边缘模糊从之类的问题,所以要用卷积层学习复原原图像并找到感兴趣的特征。
2)上面的结果作为本文网络的输入pesudo_natural inputs。作为本文创新点之一的网络结构同时使用多个average pooling与max pooling去做池化,主要考虑SCI的整体质量不仅仅是the worst part所影响的,和SCI整体结构有关。那么the worst part就用max pooling去衡量。使用多个并行结构主要考虑越来越高阶的图像结构提取。
- 实验结果
可以看出相对于另外两个复杂网络结构的设计,本文仍有较好性能。
同样,naturalization module被证明有效。
[1] H. Yang, Y. Fang, and W. Lin, “Perceptual quality assessment of screen content images,” IEEE Trans. Image Process., vol. 24, no. 11, pp. 4408– 4421, Nov. 2015.
[2] Z. Ni, L. Ma, H. Zeng, J. Chen, C. Cai, and K.-K. Ma, “ESIM: Edge similarity for screen content image quality assessment,” IEEE Trans. Image Process., vol. 26, no. 10, pp. 4818–4831, Oct. 2017.