1. 为什么使用深层网络(为什么有用):
例子1:人脸识别,从简单的特征(边缘、器官)到复杂的特征(人脸),越深入学习到的东西越多。同样的,可以应用到语音识别,先检测高低音调,检测声调到检测词语,检测语句。
例子2.电路理论
比如做异或,如果使用深度神经网络,用到的元器件不会很多,而不使用这种结构会导致元器件指数级别增加:
2.正向传播过程
3. 正向传播推导
反向传播推导:
4.参数和超参数
超参数某种程度上可以“控制”参数,所以被成为“超参数”:
5.神经网络和大脑的关系
没什么关系