一、背景介绍
1.深度学习应用
2.一点基础：线性分类器
1)线性分类器得分函数：
(1)给定W,可以由像素映射到类目得分
(2)可以调整参数/权重W，使得映射的结果和实际类别吻合
(3)损失函数是用来衡量吻合度的
(4)损失函数别的称呼：代价函数(衡量和标准之间的差异到底有多大，值越大)
(5)损失函数1：hinge loss/支持向量机损失
对于训练集中的第i张图片数据xi
在W下会得到一个得分结果向量f(xi,W)
则在该样本上的损失我们可以由下列公式计算得到
(6)对于线性模型，可以简化为：
(7)加入正则项：把每图片计算出来的损失做一个累加
(8)损失函数2：交叉熵损失(softmax分类器)
对于训练集中的第i张图片数据xi
在W下会有一个得分结果向量fyi
则损失函数记作：
实际工程中一般这么算：
3.神经网络：
(1)神经网络：一般神经网络结构
(2)从逻辑回归到神经元“感知器”
(3)添加少量隐层===>浅层神经网络
二、神经网络非线性能力及原理
1.感知器与逻辑门
2.强大的非线性切分能力
3.网络表达力与过拟合问题
4.BP算法与SGD
三、代码与示例
1.github