随笔
大家在设计network时，更关注的是准确率什么的，但是一个好的network，不仅在准确率上是高的，而且自身结构上也是精简高效的。
关于如何评价设计的网络结构是否发挥了最大的能效呢？下面介绍几个指标。
information density
Information density =
learning power
Learning power =
先看下参数的数量规模对比：
再看下自由度的定义：
在统计学中，自由度（英语：degree of freedom, df）是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数，称为该统计量的自由度。
Degrees of freedom of an estimate is the number of independent pieces of information that went into calculating the estimate.
写到这里，忍不住补充个关于安全的问题。
security
adversarial sample从出生开始就备受关注，后续会介绍下。
思考
如果有医学的研究者，专门对某一识别领域的人脑做个研究，计算下上述的一些指标，看看人脑是怎么防止对抗样的。这些结果对当前的机器学习是有巨大的启发作用的。
总感觉：
1，network还有对自身系统利用率的提升空间；
2，人对世界的认知系统，与现在的神经网络识别系统还有巨大差距，在对抗样本上是已知的突出缺陷。