感谢陈老师给的机会,有幸能够参加2020年的DAC比赛。我在其中负责目标检测器的调试和量化。自己第一次接触量化这个任务,很多东西都是一点一点学。
一、量化基础
对于一个全精度的值
,若量化步长为
(也可理解为量化分辨率),正负量化层级(quantization levels )分别为
和
。则量化过程为:
其中的
将全精度值映射到了比特空间,进行端侧修剪之后,返回最近距离的整数。若使用
表示量化位数,对于Activations对应的无符号数,有
;对于Weights对应的有符号数,有
(正侧缺1项)。
解量化操作为:
量化&运算过程如下图所示:
二、LSQ论文简介
这篇论文是IBM在2019年的ArXiv上放出来的论文,全名Learned Step Size Quantization。大概思想就是基于均匀量化,让网络自己去寻找每一层合适的量化步长
。所以最核心的问题就是如何设定步长关于损失值L的梯度。
文中给出了解量化值
关于
的偏导的定义: