week2. 神经网络基础
课程
- logistic regression
- 用于二分类的监督问题;
- sigmoid函数的引入;(梯度消失问题)
- loss 是在单个样本上定义的,衡量了算法在单个样本上的表现,LR loss函数的详细解释;
- cost 衡量参数在全体样本上的表现,是所有样本的loss和;
- 学习的目的是找到最优参数使cost最小;
- 梯度下降(前向传播,反向传播,更新参数);
- m个样本的梯度下降;
- 向量化;
编程作业
- 利用Numpy实现一些基础函数,如sigmoid,image2vector,normalizeRows等;
- 向量化:实现 L1 和 L2 损失函数;
- 具有神经网络思维的Logistic regression;
- 数据集预处理:
- 获取数据维度和样本个数;
- 样本的reshape;
- 归一化数据;
- 搭建模型的主要步骤:
- 定义模型结构;
- 初始化参数;
- 循环:
- 前向传播,计算cost;
- 计算梯度;
- 更新参数;
- You often build 1-3 separately and integrate them into one function we call model().
- 尝试了多种学习率,并画出各个cost function变化曲线;
- 数据集预处理:
week3. 浅层神经网络
课程
- 神经网络的表示,参数的维度设置;
- 前向传播的计算过程;
- 向量化;
- 激活函数的图像及比较;
- 反向传播过程;
- 参数的随机初始化;
编程作业
- 搭建模型的主要步骤:
- 定义模型结构;
- 初始化参数;
- 循环:
- 前向传播,计算cost;
- 计算梯度;
- 更新参数;
按照以上步骤搭建了只有一个隐藏层的浅层神经网络,实现数据的二分类。
- 根据分类结果画出分类边界。
- 尝试了隐藏层节点个数多种情况时的分类效果。
==========分割线。今天好大的风。好像也一直心不在焉的。anyway,又过去一天了。233333
week 4. 深层神经网络
课程
- 各层参数和导数的维度变化;
- 神经网络随着层数的加深,学习的特征从边缘到整体,能够学习更加复杂的问题;
- 前向传播和反向传播(有些地方有点搞不清楚应该按位乘还是点乘)
- 训练的过程就是要学习参数, 超参数影响输出;
编程作业
- 实现构建深度神经网络需要的基础函数
- 前向传播;
- 计算代价;
- 反向传播;
- 更新参数;
- 把函数整合到模型当中,经过迭代次数后,得到最后的参数。
- 利用参数预测,并输出准确率。
##############################晕。特别晕。##################