1、正交化
通常为了使模型在训练集上表现好
-
增加神经网络复杂度
-
更好的优化算法，如 Adam
若在训练集表现好，验证集表现不好
-
正则化
-
增大训练集
若训练集和验证集表现都较好，但是测试集表现不好
-
增大验证集
若训练集、验证集、测试集都表现较好，但是实际应用表现不好
-
改变验证集
-
改变成本函数
2、神经网络的最优选择-单一数值指标
通常我们会同时构建出多个神经网络来做不同的尝试，加入构建了A 和B 两个神经网络，让他们使用不同的学习率。
设计一个单一数字指标来评估新尝试的好坏程度，可以大大提高尝试效率。
算法的预测结果分为四种情况：
-
正确肯定（True Positive， TP）：预测为真，实际为真
-
正确否定（True Negative， TN）：预测为假，实际为假