全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴
《深度学习》PDF免费下载：《深度学习》
一 性能度量
确定目标，即使用什么误差度量，是必要的第一步，因为误差度量将指导接下来的所有工作。
训练数据的数量会因为各种原因受到限制。当目标是打造现实世界中最好的产品或服务时，我们通常需要收集更多的数据，但必须确定进一步减少误差的价值，并与收集更多数据的成本做权衡。数据收集会耗费时间、金钱，或带来人体痛苦（例如，收集人体医疗测试数据）。
除了需要考虑性能度量之外，另一个需要考虑的是度量的选择。
二、默认的基准模型
确定性能度量和目标后，任何实际应用的下一步是尽快建立一个合理的端到端的系统。
首先，根据数据的结构选择一类合适的模型。如果项目是以固定大小的向量作为输入的监督学习，那么可以使用全连接的前馈网络。如果输入有已知的拓扑结构（例如，输入是图像），那么可以使用卷积网络。
除非训练集包含数千万以及更多的样本，否则项目应该在一开始就包含一些温和的正则化。
如果我们的任务和另一个被广泛研究的任务相似，那么通过复制先前研究中已知性能良好的模型和算法，可能会得到很好的效果。甚至可以从该任务中复制一个训练好的模型。
三、决定是否收集更多数据
- 确定训练集上的性能是否可接受；
- 也可以尝试调整学习率等超参数的措施来改进学习算法。
在决定是否收集更多的数据时，也需要确定收集多少数据。
四、选择超参数
- 手动调整超参数：我们必须了解超参数、训练误差、泛化误差和计算资源（内存和运行时间）之间的关系。
- 自动超参数优化算法：开发出封装学习算法的超参数优化算法，并选择其超参数，从而使用者不需要指定学习算法的超参数。
- 网格搜索：当有三个或更少的超参数时。
- 随机搜索：编程简单，使用更方便，能更快地收敛到超参数的良好取值。
- 基于模型的超参数优化：可以转化为一个优化问题，决策变量是超参数，优化的代价是超参数训练出来的模型在验证集上的误差。
五、调试策略
- 可视化计算中模型的行为
- 视化最严重的错误
- 根据训练和测试误差检测软件
- 拟合极小的数据集
- 比较反向传播导数和数值导数
- 监控激活函数值和梯度的直方图
六、实例：多位数字识别
书上写的很简单。
下一章传送门：花书读书笔记（十一）-应用