【一】生成模型
- 判别模型：x 到 y 的函数拟合【P(y | x)】
- 生成模型：产生整个数据的分布【P(x, y)】，相当于 判别的逆过程
【二】自编码器
-
x → z → x’
-
常见的自编码器
-
玻尔兹曼机 - 联想的机器
【三】对抗学习
-
目标函数：x 表示真实数据，D(x) 表示判别器判定真实数据为真的概率，z 为均匀分布的随机噪声，G(z) 表示生成的图像，D(G(z)) 表示判别器判定生成数据为真的概率
max 的含义：将所有真的判定为真，将所有假的（生成的）判定为假
-
梯度上升 (判别器) and 梯度下降 (生成器)
-
Adversarial Nets Framework（对抗网络架构）
-
对抗学习的 最优解（Ian Goodfellow 2014）- P(data) = P(G(z))
寻找纳什均衡
【四】DCGAN（Deep Convolution）
-
生成器（Generator = 反卷积+反激活+反池化） 判别器（Discriminator = 卷积+激活+池化）
-
转置卷积（从 特征 到 图像）
【五】GAN 难点
- 【生成器】梯度消失
原因：判别器作为 大师，生成器作为 小白，导致生成器无论如何生成数据，判别器都能精确的判别出来。该现象经过链式求导，∂Loss / ∂w = (∂Loss / ∂D) * (∂D / ∂w) ， (∂D / ∂w) 这一步接近于0（无论如何改变w，D都不变）
解决方法 1：调整 学习速率，让判别器学的 慢 一点，生成器学的 快 一点
- 【生成器】 Mode Collapse（模式坍缩）
现象：生成器 生成的图像 全是黑猫
原因：生成器在多种模式中偷懒，只学习了一种模式
解决方法 1：Minibatch Discrimation - 小批量识别
解决方法 2：Semi-Supervised 半监督学习
