来源:https://mp.weixin.qq.com/s/1MM0_wk43WARz4c5WWuzCQ
个人学习收藏,侵删
本文收藏目的是作为机器学习高阶理论的学习路线参考,个人学习时需根据实际情况进行判别和取舍。
课程目标:培养更多高端的人才,帮助那些即将或者目前从事科研或已从事AI行业的朋友提高技术深度。
知识列表选自贪心科技的《机器学习高端训练营》第5期的宣传广告,课程内容相比往期有大幅更新,一方面新增了对前沿主题的讲解如图神经网络(GCN,GAT等),另外一方面对核心部分(如凸优化、强化学习)加大了对理论层面上的深度。除此之外,也会包含科研方法论、元学习、解释性、Fair learning等系列主题。
以下知识列表可能随着后面的期数发生变动,学习时请随时到搜索引擎搜索更新。
适合人群:
-
从事AI行业多年,但技术上总感觉不够深入,感觉在技术上遇到了瓶颈;
-
停留在使用模型/工具上,很难基于业务场景来提出新的模型;
-
对于机器学习背后的优化理论、前沿的技术不够深入;
-
计划从事尖端的科研、研究工作、申请AI领域研究生、博士生;
-
打算进入顶尖的AI公司如Google,Facebook,Amazon, 阿里等;
-
读ICML,IJCAI等会议文章比较吃力,似懂非懂,无法把每个细节理解透;
------------------------------------------------------------------------------------------------------
01 课程大纲
第一部分:凸优化与机器学习
第一周:凸优化介绍
-
从优化角度理解机器学习
-
优化技术的重要性
-
常见的凸优化问题
-
线性规划以及Simplex Method
-
Two-Stage LP
-
案例:运输问题讲解
第二周:凸函数讲解
-
凸集的判断
-
First-Order Convexity
-
Second-order Convexity
-
Operations Preserve Convexity
-
二次规划问题(QP)
-
案例:最小二乘问题
-
项目作业:股票投资组合优化
第三周:凸优化问题
-
常见的凸优化问题类别
-
半定规划问题
-
几何规划问题
-
非凸函数的优化
-
松弛化(Relaxation)
-
整数规划(Integer Programming)
-
案例:打车中的匹配问题
第四周:对偶(Duality)
-
拉格朗日对偶函数
-
对偶的几何意义
-
Weak and Strong Duality
-
KKT条件
-
LP, QP, SDP的对偶问题
-
案例:经典模型的对偶推导及实现
-
对偶的其他应用
第五周:优化技术
-
一阶与二阶优化技术
-
Gradient Descent
-
Subgradient Method
-
Proximal Gradient Descent
-
Projected Gradient Descent
-
SGD与收敛
-
Newton's Method
-
Quasi-Newton's Method
第二部分 图神经网络
第六周: 数学基础
-
向量空间和图论基础
-
Inner Product, Hilbert Space
-
Eigenfunctions, Eigenvalue
-
傅里叶变化
-
卷积操作
-
Time Domain, Spectral Domain
-
Laplacian, Graph Laplacian
第七周:谱域的图神经网络
-
卷积神经网络回归
-
卷积操作的数学意义
-
Graph Convolution
-
Graph Filter
-
ChebNet
-
CayleyNet
-
GCN
-
Graph Pooling
-
案例:基于GCN的推荐
第八周:空间域的图神经网络
-
Spatial Convolution
-
Mixture Model Network (MoNet)
-
注意力机制
-
Graph Attention Network(GAT)
-
Edge Convolution
-
空间域与谱域的比较
-
项目作业:基于图神经网络的链路预测
第九周:图神经网络改进与应用
-
拓展1: Relative Position与图神经网络
-
拓展2:融入Edge特征:Edge GCN
-
拓展3:图神经网络与知识图谱: Knowledge GCN
-
拓展4:姿势识别:ST-GCN
-
案例:基于图的文本分类
-
案例:基于图的阅读理解
第三部分 强化学习
第十周:强化学习基础
-
Markov Decision Process
-
Bellman Equation
-
三种方法:Value,Policy,Model-Based
-
Value-Based Approach: Q-learning
-
Policy-Based Approach: SARSA
第十一周:Multi-Armed Bandits
-
Multi-Armed bandits
-
Epsilon-Greedy
-
Upper Confidence Bound (UCB)
-
Contextual UCB
-
LinUCB & Kernel UCB
-
案例:Bandits在推荐系统的应用案例
第十二周:路径规划
-
Monte-Carlo Tree Search
-
N-step learning
-
Approximation
-
Reward Shaping
-
结合深度学习:Deep RL
-
项目作业:强化学习在游戏中的应用案例
第十三周: 自然语言处理中的RL
-
Seq2seq模型的问题
-
结合Evaluation Metric的自定义loss
-
结合aspect的自定义loss
-
不同RL模型与seq2seq模型的结合
-
案例:基于RL的文本生成
第四部分 贝叶斯方法
第十四周:贝叶斯方法论简介
-
贝叶斯定理
-
从MLE, MAP到贝叶斯估计
-
集成模型与贝叶斯方法比较
-
计算上的Intractiblity
-
MCMC与变分法简介
-
贝叶斯线性回归
-
贝叶斯神经网络
-
案例:基于Bayesian-LSTM的命名实体识别
第十五周:主题模型
-
生成模型与判别模型
-
隐变量模型
-
贝叶斯中Prior的重要性
-
狄利克雷分布、多项式分布
-
LDA的生成过程
-
LDA中的参数与隐变量
-
Supervised LDA
-
Dynamic LDA
-
LDA的其他变种
-
项目作业:LDA的基础上修改并搭建无监督情感分析模型
第十六周:MCMC方法
-
Detailed Balance
-
对于LDA的吉布斯采样
-
对于LDA的Collapsed吉布斯采样
-
Metropolis Hasting
-
Importance Sampling
-
Rejection Sampling
-
大规模分布式MCMC
-
大数据与SGLD
-
案例:基于分布式的LDA训练
第十七周:变分法(Variational Method)
-
变分法核心思想
-
KL散度与ELBo的推导
-
Mean-Field变分法
-
EM算法
-
LDA的变分法推导
-
大数据与SVI
-
变分法与MCMC的比较
-
Variational Autoencoder
-
Probabilistic Programming
-
案例:使用概率编程工具来训练贝叶斯模型
第十八周:其他前沿主题
-
模型的可解释性
-
解释CNN模型
-
解释序列模型
-
Meta Learing
-
Fair Learning
-
技术前瞻