paper:

摘要

本文提出了一种新的AE模型，能够更有效地获得鲁棒特征

介绍

如何提取鲁棒特征

Jacobian矩阵是多维 $f(x)$ 的一阶偏导，表示形式如下：
$||J_f(x)||^2_F=\sum_{ij}(\frac{\partial h_j(x)}{\partial x_i})^2 \tag{1}$
罚项 $||J_f(x)||^2_F$ 可以将特征空间收缩到训练数据更小的范围，这使得模型获得更好的不变性和鲁棒性。

AutoEncoder变种

AutoEncoder包括两个部分：encoder和decoder，起初AE模型的设计是为了实现数据降维，当encoder生成的code维度小于input维度时，就实现了降维的目标，此时的AE称为欠完备自编码器，反之，当code大于input维度时，称为过完备自编码器，在之前的博客中已经介绍，不做赘述。

基础的AutoEncoder结构

encoder过程将input映射到隐藏表征层，可以表示为：
$h=f(x)=s_f(Wx+b_h) \tag{2}$ 其中， $s_f$ 是非线性激活函数，常规的像sigmoid函数，权重矩阵 $W$ 的维度为 $d_h*d_x$，偏置向量 $b_h \in R^{d_n}$。
decoder过程使用隐层输出重建生成 $y$，表示如下：
$y=g(h)=s_g(W'h+b_y) \tag{3}$ 其中， $s_g$ 是decoder的激活函数，可以是sigmoid函数。