____tz_zs收藏
本文主要包括:神经网络的优化策略,模型选择等基础性的指导文章,以及面试题
持续更新
我的相关博客
本文主要包括:适合初学者的一些入门的概念介绍,环境搭建,以及一些入门的实战项目
收藏
损失函数
深度学习使用范围与适用情况
梯度下降算法
梯度下降算法(Gradient Descent Optimization)是神经网络模型训练最常用的优化算法。对于深度学习模型,基本都是采用梯度下降算法来进行优化训练的。
深度学习中的学习率及其选择策略
学习率是最影响性能的超参数之一,如果我们只能调整一个超参数,那么最好的选择就是它。相比于其它超参数学习率以一种更加复杂的方式控制着模型的有效容量,当学习率最优时,模型的有效容量最大。从手动选择学习率到使用预热机制,本文介绍了很多学习率的选择策略。
神经网络学习速率设置指南
学习速率代表了神经网络中随时间推移,信息累积的速度。在理想情况下,我们会以很大的学习速率开始,逐渐减小速度,直至损失值不再发散。不过,说来容易做来难,本文作者对学习速率的调整思路进行了简要介绍,希望能够对你有所帮助。
机器学习中的模型评价、模型选择与算法选择
4种神经网络优化算法
四种神经网络训练的优化方法:SGD,Nesterov Momentum,RMSProp和Adam的效果好坏。
7个深度学习实用技巧
深度学习工程师George Seif发表了一篇博文,总结了7个深度学习的技巧,主要从提高深度学习模型的准确性和速度两个角度来分析这些小技巧。在使用深度学习的时候,我们不能仅仅把它看成一个黑盒子,因为网络设计、训练过程、数据处理等很多步骤都需要精心的设计。作者分别介绍了7个非常实用小技巧:数据量、优化器选择、处理不平衡数据、迁移学习、数据增强、多个模型集成、加快剪枝。
机器学习中的矩阵、向量求导
面试题
谷歌、微软、facebook等科技巨头数据科学岗位面试题(108道)