-------------------------------------
batch = 128
1e-03
1000次0.9
没有BN层 结论:加BN层
6.12 24 16
5K 0.23
10K 0.36
15K 0.44
20K 0.46
-------------------------------------
1e-03
1000次0.9
6.12 24 16
5K 0.56
10K 0.68
15K 0.71
20K 0.73
-------------------------------------
1e-03
1000次0.9
+ Drop 0.2 加不加Drop效果差不多
5K 0.59
10K 0.67
15K 0.71
20K 0.73
——————————————————————————batch设定
batch = 256
5K 0.56
10K 0.59
15K 0.606 结论:128准确率高
20K __
++++++++++++++++++++++++++++++++++++++++++++++++++++++++BN加tanh
5k 0.506
10k 0.613
15k 0.6625
20k 0.7026
最高:0.77
++++++++++++++++++++++++++++++++++++++++++++++最终
5k 0.506
10k 0.66
15k 0.70
20k 0.72
33:0.77
——————————————————————————————————1
5k 0.524
10k 0.64
15k 0.703
20k 0.7285
33:0.77
-0------------------------
6 12 6 3 结构尝试 ,减少层数
5k 0.57
10k 0.66
15k 0.704
20k 0.74
33:0.77
+++++++++++++++++++++++++++++++++++++++++
5000次减少0.1,学习率改进,结有明显的提升
5k 0.75
10k 0.77
15k 0.78
20k 0.78
最高 )0.79
learning rate 1e-2
5k 0.49
10k 0.60
15k 0.65
20k 0.69
最高 )0.79
5000次减少0.5,学习率改进
5k 0.49
10k 0.60
15k 0.65
20k 0.69
最高 )0.79
3 6 6 2 层太少
5k 0.47
10k 0.57
15k 0.60
20k 0.66
最高 )0.79