【总结】Obfuscated Gradients give a false sense of security:circumventing defenses to adversaria..

《Obfuscated Gradients give a false sense of security:circumventing defenses to adversarial examples》

三种obfuscated gradients：

shattered gradients：破碎梯度，产生于有意的不可导操作或者无意间数值不稳定造成
stochastic gradients：随机梯度取决于测试时间的随机性
vanishing/exploding gradients：梯度消失、梯度爆炸，很深的计算中产生的无用梯度

Attack Techniques

1、Backward Pass Differentiable Approximation (BPDA)
因为 $g(x)\thickapprox x$ ,
所以 $\triangledown_xg(x)\thickapprox \triangledown_xx=1$
所以 $\triangledown_xf(g(x))|_{x=\hat{x}}\thickapprox \triangledown_xf(x)|_{x=g(\hat{x})}$

BPDA:
$g(x) \thickapprox f^i(x)$ 只在backward pass上用 $g(x)$ 代替 $f^i(x)$ , 发现比forward和packward都替换的效果好得多
可以用来解决shattered gradients

2、Expectation over Transformation
用Expectation over Transformation来正确计算输入所期望的转变的梯度，来对抗让输入随机转变的防御

3、Reparameterization
solve vanishing/exploding gradients
make $x=h(z)$ 使得 $g(h(z))=h(z)$ 且 $h(·)$ 是可微的，这样，可以通过 $f(h(z))$ 来计算梯度

Case study

1、Non-obfuscated Gradients
(1) adversarial training
用对抗样本训练，直到能正确分类
给定训练数据 $X$ 和损失函数 $l(·)$ , 一般的训练是选择参数

θ^{*} = a r g_{θ} m i n E_{x \in X} l (x; F_{θ})

$\theta^*=arg_\theta min \mathbb{E}_{x\in X}l(x;F_\theta)$
而对抗训练解决

θ^{*} = a r g_{θ} m i n E_{x \in X} [m a x_{δ \in [- ϵ, ϵ]^{N}} l (x + δ; F_{θ})]

$\theta^*=arg_\theta min \mathbb{E}_{x\in X}[max_{\delta\in [-\epsilon,\epsilon]^N} \ l(x+\delta; F_\theta)]$
(不太懂）