最近在学习加速方法。总结大概分3类
- 数学方法
- 权重优化
- 模型结构
方法1和方法2都是对训练好的模型,进行优化处理。方法1一般不会改变模型的精度,方法2会对精度有影响,并且只能针对冗余权重。而第三种方法,一般都是修改模型,也就是训练时候,就是用优化的模型结构。说的再多,他们之间也有相通的比如可以把权重矩阵分解理解成数学方法。具体内溶,还在总结整理代码中。
最近在学习加速方法。总结大概分3类
方法1和方法2都是对训练好的模型,进行优化处理。方法1一般不会改变模型的精度,方法2会对精度有影响,并且只能针对冗余权重。而第三种方法,一般都是修改模型,也就是训练时候,就是用优化的模型结构。说的再多,他们之间也有相通的比如可以把权重矩阵分解理解成数学方法。具体内溶,还在总结整理代码中。