吴恩达《深度学习与NN》Week 3 课后习题 笔记

第21题:

第25题:

 

问题:B.shape是多少?

解释1:keepdims的功能

 解释2:numpy中axis属性

0表示行,1表示列

axis=0 沿着的方向垂直求值

axis=1 沿着的方向水平求值

所以B.shape=(4,1)

第26、27、28题是有关随机初始化题目

第26题:

将权重和偏差初始化为零后,第一隐藏层中的每个神经元将执行相同的计算,因此,即时在梯度下降多次迭代之后,层中的每个神经元将执行与其他神经元相同的计算

    梯度迭代后:

第27题:

logistic回归时,权重可以初始化全为零

因为logistic回归没有隐藏层,如果将权重初始化为零,则Logistic回归中的第一个示例x将输出零,但是logistic回归的导数取决与不是零的输入x(因为没有隐藏层)。因此,在第二次迭代中,如果x不是常量向量,则权值遵循x的分布并且彼此不同。

第28题:

随机初始化时,习惯把权重设为较小的值,若将权重初始化为相对较大的值,会导致tanh输入也很大会使梯度接近于0,优化算法会变缓慢

第29、30题 单隐层神经网络中涉及参数的维度

 

 向量化后有的维度改变:

  

习题参考网址:

https://www.kesci.com/home/project/5e20243e2823a10036b542da 

猜你喜欢

转载自www.cnblogs.com/Qianwen-Li/p/12811405.html