先验知识结合进神经网络的设计中
如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息而简化网络设计。该规则特别重要，因为真正坚持这一规则就会使网络具有特定结构。这一点正是我们需要的。原因如下：
1. 己知生物视觉和听觉网络是非常特别的。
2. 相对于完全连接网络，特定网络用于调节的自由参数是较少的。因此，特定网络所需的训练数据更少，学习更快而且常常泛化性能更强。
3. 能够加快通过特定网络的信息传输速率 (即网络的吞吐量)。
4. 和全连接网络相比特定网络的建设成本比较低，因为其规模较小。
然而，要说明的是，将先验知识结合进神经网络的设计中会限制神经网络仅能应用于根据某些感兴趣的知识来解决特定问题。
References
(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572