IDDPM
IDDPM：Improved Denoising diffusion probabilistic models
-
learning Σ θ \Sigma_{\theta} Σθ， 即 Σ θ ( x t , t ) = exp ( v log β t + ( 1 − v ) log β ~ t ) \Sigma_{\theta}\left(x_{t}, t\right)=\exp \left(v \log \beta_{t}+(1-v) \log \tilde{\beta}_{t}\right) Σθ(xt,t)=exp(vlogβt+(1−v)logβ~t)
β t ~ = 1 − α ˉ t − 1 1 − α ˉ t . β t \tilde{\beta_{t}}=\frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_{t}}.\beta_{t} βt~=1−αˉt1−αˉt−1.βt -
L h y b r i d = L s i m p l e + λ . L v l b L_{hybrid}=L_{simple}+\lambda.L_{vlb} Lhybrid=Lsimple+λ.Lvlb
- 重参数化的噪声和 β t \beta_t βt是什么关系？
噪声是 ϵ \epsilon ϵ, β t \beta_t βt是方差， q ( x t ∣ x t − 1 ) = N ( x t ; 1 − β t x t − 1 , β t . I ) q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_t.I) q(xt∣xt−1)=N(xt;1−βtxt−1,βt.I)
- improve the noise schedule
DDIM
DDIM: Denoising diffusion implicit models
- 非马尔科夫加噪过程，重写sample函数
- 与DDPM有相同的边缘概率 q ( x t ∣ x 0 ) q(x_t|x_0) q(xt∣x0), 比DDPM快10到50倍
- 以改变逆扩散过程中的方差来生成不同的样本