5  帧融合

The key premise of burst photography is that we can realize noise reduction by combining multiple observations of the scene over time. However, to be useful in a photographic application, our merging method must be robust to alignment failures. As figure 6 shows, while alignment is important to help compensate for camera and object motion, we cannot rely on alignment alone, which can fail for a variety of reasons, such as occlusions, non-rigid motion, or changes in lighting.

burst photograhpy的关键前提是我们可以结合多帧场景进行降噪。然而，为了在摄影应用中有效，融合方式必须对图像未对准情况具有鲁棒性。图6所示，尽管图像对齐弥补相机和对象运动很重要，但是我们不能单独依赖图像对齐，因为在一些情况下，会失效，如遮蔽，非刚性运动，或者灯光变化。

With our performance goals in mind, we develop a merging method that is robust to misalignment, based on a pairwise frequency-domain temporal filter operating on the tiles of the input. In our setting, each tile in the reference is merged with one tile taken from each of the alternate frames, corresponding to the result of our alignment. Our method typically uses 16 × 16 tiles from color planes of Bayer raw input, but for very dark scenes, for which low-frequency noise can be objectionable, we use 32 × 32 tiles instead.
 

由于性能要求，开发出一种融合方式，需要对未对准图像融合具有鲁棒性，该方式对输入帧块进行一对频域时域滤波。在设置中，参考帧的每一块和其他帧的块进行融合，其他帧经过图像对齐处理。对于块大小，使用Bayer raw图像颜色通道上16x16大小块，对于很暗的场景，低频噪声让人讨厌，我们使用32x32块代替。

我们方式从频域视频降噪得到灵感。。。。

尽管我们图像融合方法拥有频域降噪优势，然而这方式是从以前的方法中出发。首先，因为我们处理raw图像，我们可以建立一个简单描述图像噪声模型。这个模型可以可靠区分图像未对准和噪声，从而提高鲁棒性。第二，不在时域上使用DFT或其他正交变换，我们使用一种更简单的一对滤波器，将每帧独立地融合到参考帧上。尽管这种方式使得对齐后多帧图像降噪能力降低，计算更加便宜，如果未对准则退化也较温和。第三，由于这种滤波器仅在时域操作，我们在分开的后处理步骤中进行空间降噪，使用2D DFT。第四，我们对raw图像每个颜色通道进行过滤，将过滤后的raw解释为新raw图像。这种方法虽然简单但是意外鲁棒，用这种方法，即使我们忽视bayer下采样，我们几乎看不到退化。接下来，我们将展开上面这些点，讨论极端情况下产生的人为痕迹。

噪声模型和块近似

由于我们在bayer图像上进行操作，每个像素上噪点是独立的，属于简单且与信号相关的形式。特别的，对于信号电平为x，方差为噪声可以用表示，遵循光子计数的poisson分布物理过程。参数A和B仅依赖于拍摄设置的模拟增益和数字增益，而这两增益我们可以直接控制。为了验证sensor噪声模型，我们以经验主义地测量噪声是怎样随信号电平和增益设置变化的。

在变换域中我们使用滤波器，直接使用信号相关的噪声模型是不切实际的，因为DFT要求表示一个完整的协方差矩阵。