参考:《解析深度学习——卷积神经网络原理与视觉实践》
网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf
实际应用中,随机参数服从高斯分布或均匀分布
一、Xaiver参数初始化方法和He参数初始化方法
(1)Xaiver参数初始化方法
随机初始化+方差大小的规范化
, n指输入神经元个数n_in,也可以指定为(n_in+n_out)/2。
Xaiver参数初始化方法收敛速度快原因:维持了输入输出数据分布方差的一致性。具体分析:
缺点:未考虑非线性函数对输入的影响。
(2)He参数初始化方法
将Xaiver参数初始化方法中方差规范化的分母改为。
(3)上述两种方法比较
(4)使用均匀分布的修改
Xaiver参数初始化方法
He参数初始化方法
二、其他参数初始化方法
(1)使用预训练模型的参数进行初始化——首选
(2)数据敏感的参数初始化方式 ,是一种根据自身任务数据集量身定制的参数初始化方式,读者在进行自己训练任务时不妨尝试一下。