Task06：批量归一化和残差网络；凸优化；梯度下降;优化算法进阶

进一步了解残差神经网络的原理，原来是分为很多残差块，然后叠起来，我过去一直将其理解为单纯的残差作为传递，没想到比我理解的复杂。
优化方法目标为训练集损失函数值；深度学习目标为测试集损失函数值。简要了解了一些凸性、凸集、凸优化的概念，但是不太深刻
梯度下降章节，主要是理解了一下小批量梯度下降的概念，即随机地抽取一部分样本，然后用这些样本来计算梯度这样做的好处在于，计算量减少，函数可以更好的收敛
优化算法进阶部分，掌握了指数加权移动平均法，并解除了以此为基础的adagrad、rmsprop、adadelta、adam算法，涉及到数学部分的还是蛮有意思的。

Task09：目标检测基础；图像风格迁移；数据增强；模型微调

目标检测基础，以每个像素为中心生成多个大小和宽高比（aspect ratio）不同的边界框。这些边界框被称为锚框（anchor box）。通过计算锚框和标签之间的差异来评估损失函数（主要是交并比，两个区域相叠的部分除以两个图片合并的部分，J(A,B)=|A∩B||A∪B|）。此外还有，背景锚框以及根据非极大值抑制取舍的理念，很有意思。为了减少运算量，引入多尺度目标检测的思想，使得模型具有不同的感受野，和yolov3的思想很像了。
图像风格迁移，这部分内容就很有挑战性了。主要是三个损失函数来描述生成图片的过程：内容损失（content loss）使合成图像与内容图像在内容特征上接近，样式损失（style loss）令合成图像与样式图像在样式特征上接近，而总变差损失（total variation loss）则有助于减少合成图像中的噪点。最后，生成的图像实际上是卷积层训练的结果，训练这个神经网络的目的不是使用，它本身就是输出。
数据增强部分，就是图像增广，涉及到图像的翻转，切割等等方法，原来这种方法是用来缓解过拟合的。通过加入相似的图片能提高泛化能力和减小对某些无关属性如图片方向、大小的依赖。
模型微调部分，就是简单的调参了，这部分内容很多文档讲的很详细了，不过多赘述

Task10：图像分类案例1;图像分类案例2；GAN；DCGAN

图像分类案例，使用的比较多了，就是pytorch基本的一些操作，之后有需要可以再看。现在的库迭代速度太快了。
生成式对抗神经网络，GAN，两块组成：生成器和分类器。生成器以不断地生成新的图像来迷惑分类器，分类器不断地学习，增强鉴别能力，最后使得生成器达到一个以假乱真的效果。思想很几把牛逼。但是有说法这两年GAN在凉，不清楚。GAN一些细节部分我还是没有掌握的很好。
DCGAN因为这部分没有看视频，只是看了讲义，感觉是GAN的一种变形。值得一提的是它的激活函数采用leaky ReLU，而不是dead ReLU，这样会让很多参数不再一直为0（如同死水，不过当时不就是因为ReLU计算快才选它的吗，既然有问题为什么不用sigmod呢）。总的来所GAN这部分很薄弱，没有太理解的清楚，以后有机会再看吧