反向传播算法 实现注意 from 吴恩达的机器学习

展开参数



梯度检验

代价函数的偏导数近似于:


是一个向量时,我们需要对偏导数进行检验


通常:


计算出的偏导数存储在矩阵 中。检验时,我们要将该矩阵展开成为向量,同时我们也将矩展开为向量,我们针对每一个都计算一个近似的梯度值,将这些值存储于一个近似梯度矩阵中,最终将得出的这个矩阵同 进行比较


梯度检验正确后,我们需要将梯度检验关闭,避免占用资源。


随机初始化

初始化为区间内的数,如下:

If the dimensions of Theta1 is 10x11, Theta2 is 10x11 and Theta3 is 1x11.

Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta3 = rand(1,11) * (2 * INIT_EPSILON) - INIT_EPSILON;

猜你喜欢

转载自blog.csdn.net/melon__/article/details/80885486
今日推荐