接着学习吴恩达老师第三、四周的课程。（图片均来自吴恩达老师课件）

第三周

1. 普通的浅层网络

                                                               第0层（）          第1层 （）       第二层（）

                                                               输入层                    隐藏层                   输出层

2. 浅层网络（单样本）

直观上理解，输入层有3个特征。隐藏层的4个节点实际上都在重复的计算sigmoid，因此每个节点可产生一个w（1*3）和b（1*1），隐藏层可产生W[1]（4*3），b[1]（4*1）,由sigmoid激活函数推出a[1]（4*1）。这相当于4个隐藏节点各自计算函数得到了4个值。但是W[2]和b[2]和a[2]不是很好理解其意义，我暂且理解为：原始输入特征为X，而在隐藏层设置4个节点，通过sigmoid激活函数将原始的3个特征映射为4个特征，因此在输出层W[2]的维度为1*4，最后再通过sigmoid得出预测值。其实总结来说，也就是隐藏层与输出层都使用sigmoid作为激活函数。

学习完这周视频，再回头看这一流程。隐藏层（输出层）所做的便是接收输入特征（上一层）的线性组合（权重向量w和偏置向量b）进行非线性函数的映射（激活函数）。

当扩展为多样本，又是向量化的过程，注意符号的写法。矩阵中每一列应代表一个样本，而每一行应代表某个指标（特征，节点等）。

3. 激活函数： 令 a = g（z）（代表激活函数）

（1）sigmoid：除非作为二元分类（0,1）的输出层，否则选用tanh替代，因为其效果更好。

                                                                  g‘（z） = a(1-a)

（2）双曲正切函数 tanh 值域（-1,1）

数学上看，即是将sigmoid函数向下平移经过原点，并使其值域拉伸到（-1,1），效果几乎总比sigmoid函数好，因为其有一个类似于中心化的功能（使均值在0，而sigmoid在0.5）

                                                                               g’（z） = 1 – g（z）^2

（3）ReLU max（0，z）不知道用什么的时候，可以尝试，效果不错，注意在0的时候的斜率（自己定义）

（4）Leaky ReLU max（0.01z，z），0.01的值可以自己定义。修正了ReLU在负值时，斜率为0的问题，效果比ReLU好，但是不经常用 。

4. 理解前向传播及后向传播

 在推导后向传播时保证矩阵的维度匹配。

理解后向传播以及前向传播，在于理解传播二字。根据输入特征得到输出，前向传播的是一步步的计算过程。通过输出的反馈，后向传播的是更新的过程。

初始化神经网络的权重 很重要，不要初始化为0，而是随机初始化。若初始化权重（w）都为0 ，会使隐藏层的节点做着相同的函数计算，使得隐藏层的计算没有意义。常常随机初始化权重为较小的值，例如numpy.random.rand()*0.01。其实设置初始化权值跟所用的激活函数有关。由于我们采用Sigmoid(或者tanh)，并且使用梯度下降法进行收敛，当初始化权值太大或者太小时，会使其收敛的速度较慢。

第四周

1. 符号太多了，注意符号的标记。

2. 前向传播的过程，最外层的for循环无法舍弃（即在每一层传播的过程）。

3. 深度网络中，清晰的认知到变量的维度很重要（w，b，z…），关键在于捕捉到网络的层数L，每层的节点数L[i]，以及输入样本的m和n（）。

4. 为什么要用深度网络表示？总结出了两方面原因：（1）以人脸识别为例，深度网络的每层是一个特征探测器（边缘检测），每个神经元可以理解为再找一个特征，之后再将这些神经元组合起来，便可以得出检测结果。也就是说随着神经网络的前向传播，逐渐由小特征汇聚成大特征（类似于金字塔结构）。（2）另一方面是，同一问题，若利用相对较浅的网络，那么需要的节点个数会指数级增长。

5. 前向与后向传播流程

这里有几点关注的地方：

（1）前向传播过程中，对于中间变量的缓存，可提到计算效率。

（2）后向传播的推导的过程，注意矩阵间的运算，（维度，转置）。

（3） 多样本情形时，W和b的更新记得取平均。

6. 超参数：某种程度上控制着参数的预先设定的参数。（不断的尝试）深度学习的应用实则上就是一个经验的尝试（数据驱动的本质以及不同环境的配置等），如何选取好的超参数，只能不断的尝试。