什么是线性分类器
寻找一个函数 把D维空间的输入映射到K维空间(分为K列)
输入是D维列向量,输出是K*1维,那么W一定是K*D维
Wx+b的物理意义是什么
wx是列向量的内积->就是在算两个列向量的相关度->是在算 第一类的特征分量的表示 与 输入数据的相关度
w:是从w的眼中看到的 物体的分量
就像人的世界观
婴儿刚开始不存在世界观,通过喂给数据,组件收敛成一个较好的世界观
wx:x与w每一类相似度匹配的度量,算出来的值越大,是某一类的可能性越大
将wx+b 用概率表示,使用softmax
wx+b优化w的指标:loss 利用数据信息
通常y_label与y_pred 通常是k维的独热编码
交叉熵损失
折页损失
通过循环计算是否比其他预测值都大,
L2正则化
人话:loss相同情况下,选择绝对值小的参数
如何优化w的世界观
最常见的算法就是梯度下降算法,需要对矩阵w求梯度->对矩阵每个元素求梯度
分类讨论 对某行和其他行求梯度,相当于复合函数求梯度
参考资料:七月在线 深度学习集训营