这是[神经网络与深度学习]课程第三周的习题,一共10道。
解答:
本课程中[i]表示第i层神经网络,(i)代表第i个样本,而下标i表示某层神经网络上第i个神经元。X是将训练样本横向排列而来,a代表激励输出向量。
所以答案是选项1、3、4、6
解答:
课程中讲到,tanh的输出在-1和1之间,数据具有归一化的分布,使得下一层的学习变得更加简单。
答案是True
解答:
计算Z的时候需要前一层神经网络的激励输出A,其它都使用本层的参数。
答案是选项1
解答:
Sigmoid输出一个介于0和1之间的值,是二元分类的一个非常好的选择。如果输出小于0.5,则可以将其归类为0,如果输出大于0.5,则归类为1。
答案是选项3
解答:
代码中使用了keepdims = True确保A.shape为(4, 1),而不是(4, )。
答案是选项4
解答:
神经网络将W参数初始化为0会产生对称问题,也就是1所描述的,所以答案为选项1。
解答:
逻辑回归问题的W和b参数通常初始化为0,它不会引起神经网络的对称问题,其原因在于:
逻辑回归没有隐藏层。如果将权重初始化为零,则逻辑回归中的第一个示例x将输出零,但逻辑回归的导数取决于不是零的输入x(因为没有隐藏层)。因此,在第二次迭代中,如果x不是常量向量,则权值遵循x的分布并且彼此不同。
答案是False
解答:
tanh和sigmoid一样,对于较大的值曲线变得平坦,这导致其梯度接近于零,从而梯度下降速度变慢,所以W通常初始化为0附近的一个很小的数。
答案是选项3
解答:
记住W[l].shape=(n[l], n[l-1]), b[l].shape=(n[l], 1)这个公式,不难确定答案是选项2、3、5、8
解答:
Z和A的shape值一样,都是(n[l], m),所以答案是选项1。
相关习题解析: