VAE初步理解

初步的理解:

https://www.sohu.com/a/226209674_500659

不错的视频:

https://www.bilibili.com/video/av20165127?from=search&seid=11688998895002187651

数学公式的推导:

PPT

自己的理解:

首先,AE(AutoEncoder), 包括Encoder,Decoder部分,Encoder得到的是输入的低维度表示,Docoder将这种低维表示加入一些变化,reconstruct出原图。

而VAE的Encoder部分得到的不是输入数据的低维表示,而是将Z假设为正太分布(Gaussion 分布),而将Encoder看作是对Z 的分布参数的学习,得到的是一个分布(Distribution)。

Decoder: 有了分布之后,要从分布中sample一些数据,用此来重构原图。

LOSS:首先有重构的loss (Reconstruction loss), 即网络的输出和输入之间的误差;其次,使q(z|x)的分布接近于标准正太分布,这里用了KL散度(另一种理解,如果不用KL散度,使L1=均值接近于0的loss, L2=方差接近于1的loss, 那么L1,L2直接的比例关系不好确定; 当然这里是有严谨的数学推导的)。

猜你喜欢

转载自blog.csdn.net/gaoprincess/article/details/88554965
VAE