04 统计语言模型(n元语言模型)


预训练

预先训练

我们有两个相似的任务 A 和 B,任务 A 已经完成了得到了一个模型 A

任务 B(数据量小)

用到了一个特性:CNN 浅层参数通用

任务 B 就可以使用模型 A 的浅层参数,后面的参数通过任务 B 训练–》1. 冻结(浅层参数不变)2. 微调(变)

任务 B(大数据)可以训练出模型 B(我还可以使用模型 A 的浅层参数,节省训练时间,节省成本)

猜你喜欢

转载自blog.csdn.net/linjie_830914/article/details/131614705