文章目录
1、时序模型
非时序类数据:
- 图片
- 一个人的特征
时序类数据:沿着时间的维度变化的,长度是不确定的 - 股票价格
- 语音
- 文本
- 温度的变化
2、一些时序模型
- HMM/CRF:传统模型
- RNN/LSTM
3、HMM的介绍 Hidden Markov Model
- 状态序列 latent variable
- 观测序列 observed
4、HMM的应用举例
4.1 仍不均匀硬币
- 初始概率分布
- 观测概率分布
- 状态转移概率分布
4.2 词性标注
每一个单词都是一个观测值,它的隐状态就是对应的词性。当前时刻的隐状态由上一时刻的隐状态决定。
4.3 语音识别
5、HMM的参数
- pi:初始概率分布:初始状态的概率, 离散型
- B:观测概率分布:从当前隐状态转移到观测的概率, 对于连续的值,使用GMM
- A:状态转移概率分布:从当前状态转移到下一个状态的概率
6、 Two major tasks
- 给定模型的参数,找出合适的z: Inference/decoding: viterbi 算法解决
- 估计模型的参数 θ \theta θ:
1、 complete case,给定观测序列,给定状态序列
2、incomplete case:给定观测序列,状态序列未知:使用EM算法
7、 HMM的inference问题
Finding best Z
7.1 Naive approach
直接罗列出所有可能的结果,计算似然概率
7.2 Viterbi: 本质是一个动态规划的算法
每一个zi只会和前一个z有联系。
8、F/B Algorithm forward & backward
扫描二维码关注公众号,回复:
12566821 查看本文章
- F/B:估计模型的参数 pi, A,B
8.1 Forward algorithm
目标计算:
P ( z k ∣ x 1 : k ) P(z_k|x_{1:k}) P(zk∣x1:k)
初始化:
8.2 Backward 算法
9 隐变量模型和EM算法—— Latent Variable model and EM
9.1 Data Representation: 数据的表示
PCA降维
9.2 Latent Variable models:生成模型 generative model
- 隐状态:可以是离散的也可以是连续的,未知的
- 观测值:由隐变量生成的,已知的
观测到的图片,由若干隐状态生成,性别,头发颜色,姿势。
生成模型:LDA,GAN,VAE
10、complete vs incomplete case
- complete case: (z,x)is observable
- incomplete case:(x) is observable,z is unobservable