笔者按 ：机器学习正在走向基于“语义”的可解释模型的新时代。但在很多场合，例如“语义”驱动的监督学习器在能够达到更强泛化能力前，也还需要数据驱动型算法，而后者的“养料”是标注的大数据，周登勇博士的这个报告介绍了大数据标注的关键技术。
其它评述链接在此。
概要
报告分两个主要部分，并主要围绕第二部分展开讨论：
1. 为什么需要众包？
2. 提升众包质量的策略：提出了基于众包的标记质量和众包动机两个问题，并分别给出并介绍了统计推断机制和激励机制设计两个解决方案。
1. 为什么需要众包(Crowd-Sourcing)？
其实这个问题不如反过来问，比如为什么不用半监督学习呢？为什么不用杉山将的弱监督学习呢？为什么不用Dr. Fei-Sha 多任务学习(multi-task learning)、领域适应(domain adaptation)和零样本学习(zero-shot learning)解决小数据问题呢？
周博士的回答是：基于众包的标注可以做到既省时间又省钱，而且引用了ML领域的经典Remark：“更多的数据可以打败聪明的算法”，并举了一个10倍数据量+SVM性能超过1倍数据量+深度学习的例子。
个人注解：周博士的举例说明数据可以打败算法是正确的，但是需要认真考察上述说法所考虑的语境(context)。用一句话说：基于大规模标注数据集的监督学习不会被淘汰，但需要新的学习模式予以搭配，才能从根本上突破现有人工智能的范式和水平。
具体展开来说：
1. 标注数据集是人类智能与监督型机器智能之间的接口：数据驱动的算法尤其是监督学习的深度学习算法，需要大规模的标注数据，在能够处理好过拟合的前提下，数据集当然是数量越大、标注质量越高越好。
2. 标注数据集不是机器智能持续突破的解药：在Dr.Fei博士的报告中我们已经了解到，带标签的大数据不是万能的，在实际情况中经常会遇到，缺少语义的标签没法解决小数据学习问题。
3. 突破监督学习才是智能突破的方向：类比教育学领域的学习理论，监督学习类比为示教学习，而人类智能突破更重要的是自主学习和终生学习，而后两者均不依赖于完整的数据标注(示教)。
请忽略我的评述，让我们回到大规模数据集支撑的数据驱动监督算法的“黄金时代”。下面进入报告主要部分：如何提升基于众包标注数据集的质量。
2. 提升基于众包标注数据集质量的策略
2.1 问题：
标注者水平不足(Lack of Expertise)
+ 标注者动机不足(Lack of Incentive)
–> 含噪的标注数据(Noised Labeled Data)
–> 可能导致低质量(Low Quality)
因此，需要提升标注水平和动机。前者的解决方案是采用合适的统计推断方法，后者的解决方案是设计合适的激励机制。
2.2 众包数据的统计推断
如果每个数据只由一个非专业人士标注，那么可以提升标注水平的方式就很有限了。报告在基于低成本标注的前提下，允许多个非专业人士对同一个数据进行标注，从而产生冗余性。
针对同一个数据的多个标注，可以考虑投票机制：可以认为每个标注的质量是平等的，但是很显然，这只是个被“淘汰”的benchmark，除非没有任何先验知识，没必要采用这种方式。
于是周博士介绍了他们的工作[NIPS 2012]，算法更具体的介绍参考CCAI公众号介绍，为了避免重复，本文只做简要回顾：
1. 基于极小极大熵原理(minimax conditional entropy method)建模优化问题，里边的极大是“用尽量无偏见的平坦的分布去拟合观测数据”，外边的极小是“最小化标注者所引入的不确定性”。
2. 迭代优化：基于拉格朗日对偶法，一种最常用的凸优化问题解法，其中的拉格朗日算子分别代表了标注者能力(worker ability)和标注难度(item difficulty)。
个人注解
1. 对算法的具体注解：这种拉格朗日分解法不仅能够解决上述优化问题，还可以很方便地实现分布式的迭代优化算法，基于通信媒介和局部信息交换实现分布式标注。因此，报告中的方法可以在分布式标注(人)、多学习器系统(机)和人-机混合标注系统中推广使用，我的小组在做类似的工作。
2. 对宏观设计的注解：从信息论与编码的角度理解，每次标注可以理解为对真实信息的一次编码(encoding)。尽管每次观测或编码都是有噪的，但只要有先验知识，就可以通过合适方法从每次标注中获取一定的有用信息量，设计比“平均投票”更好的信息融合机制，从而获得比单次解码(decoding)更好的性能。
3. 最小最大化熵[NIPS 2012]不是的唯一选择。面向不同场景，还可以设计对应的算法解决新问题。当然，最小最大化熵作为普遍适用的方法也可以解决很多别的问题。比如，我们也在做多时间切片的longitudinal数据集中常见的attrition问题。
2.3 众包的激励机制设计
首先明确，众包的激励机制不是纯粹的机器学习问题了，而是商业问题，或者说博弈问题。众包的标注需求方可以设计奖惩规则(Rules)，从而影响标注提供方的趋利行为(behaviour)，而这个博弈问题存在一个对抗：
1. 需求方希望尽量“少付出资金投入，多得到优质标注”
2. 提供方希望尽量“少付出标注劳力，多得到资金回报”
为了解决上述问题，报告提出了两个朴素准则：
1. “真实”（truthful）准则：引导标注提供方，只在有足够的自信前提下才提供标注。
2. “没有免费午餐”（no-free-lunch）准则：如果标注提供方所作的标注都是错的，就不给任何回报。
并且证明了“Double-or-Nothing”规则是唯一满足上述两个朴素准则的奖惩规则 ，具体参见[NIPS 2015]。
个人注解
既然是唯一满足两个基本朴素原则的奖惩规则，那么就皆大欢喜了？个人认为并不是，回顾报告所考虑场景所作的假设：而标注需求者是唯一的，标注提供者是足够的，并且标注提供者之间没有沟通。那么，如果考虑两个上述假设不成立的场景：
1. 标注提供者是相对稀有的(比如专业性较高的标注任务)，而且标注需求者不是唯一的，因此存在竞争关系。
2. 标注提供者之间可以沟通，形成某种松散的或紧密的组织。
问题变得很open了。因此，还有许多值得一做的有趣工作。
主要参考文献
[NIPS 2012] Learning from the wisdom of crowds by minimax entropy
[NIPS 2015] Double or Nothing: Multiplicative Incentive Mechanisms for Crowdsourcing