承接超分辨率重构之SRCNN整理总结(一)的引出,本篇主要是对传统的图像超分辨率重建技术进行简要的介绍。
传统的图像超分辨率重建技术简介
-
【1】基于插值的图像超分辨率
图像处理中,常用的插值算法有:最邻近元法,双线性内插法,三次内插法等。
插值法:通过某个点周围若干个已知点的值,以及周围点和此点的位置关系,根据一定的公式,算出此点的值。对于如何把原图像的点摆放在新图中并确定具体坐标,未知的点计算时,需要周围多少个点参与,公式如何计算,不同的插值算法,有不同的方案选择。
eg:现有一张分辨率为3 x 2的图片,原图每个像素点有亮度值是:[[127,170,93],[99,165,87]]。
我们要把它变成分辨率为6 x 4的图片,把这6个已经知道的点,放在他们大概应该在新图的位置:
那么我们已经知道6 x 4新图中6个已知的点(绿色),下面只求剩余需要18个点(蓝色)的值即可。通过某个点周围若干个已知点的值,以及周围点和此点的位置关系,根据一定的公式,算出此点的值,就是插值法。
实际上,通过这些插值算法,提升的图像细节有限,所以使用较少。通常,通过多幅图像之间的插值算法来重建是一个手段。另外,在视频超分辨重建中,通过在两个相邻帧间插值添加新帧的手段,可以提升视频帧率,减少画面顿挫感。
-
【2】基于重建的图像超分辨率
基于重建的方法通常都是基于多帧图像的,需要结合先验知识。有如下方法:
凸集投影法(POCS)
贝叶斯分析方法
迭代反投影法(IBP)
最大后验概率方法
正规化法
混合方法
-
【3】基于学习的图像超分辨率
机器学习领域(非深度学习邻域)的图像超分方法如下:
Example-based方法
邻域嵌入方法
支持向量回归方法
虚幻脸
稀疏表示法
-
【4】基于深度学习的图像超分辨率重建技术
基于深度学习的图像超分辨率重建的研究流程:
- 1.首先找到一组原始图像Image1。
- 2.然后将这组图片降低分辨率为一组图像Image2。
- 3.通过各种神经网络结构,将Image2超分辨率重建为Image3(Image3和Image1分辨率一样)。
- 4.通过PSNR等方法比较Image1与Image3,验证超分辨率重建的效果,根据效果调节神经网络中的节点模型和参数。
- 5.反复执行,直到第4步比较的结果满意。