通过Active Learning（AL）算法，找到最小的需要标注的数据进行训练，来标记未标记的数据。
AL必须满需下边的需求才能作为crowd-sourced database的默认的最优策略：
- Generality：算法必须能够应用到任意的分类和标记任务。因为crowd-sourced systems应用广泛。
- Black-box treatment of the classifer：意思是，能够自动化，不需要对分类器内部进行调节，因为并不是所有的人都是专家。
- Batching：支持批处理。可以一次性处理多个数据。
- Parallelism：能够并行执行现代的多核处理器和分布式集群。
- Noise management：crowd-provided labels有很大噪声，错误，缺乏专业知识啥的。
本文是第一个满足上述所有条件的AL算法。本文主要贡献了两个AL算法，MinExpError 和Uncertainty，还有一个噪声管理技术partitioning-basedallocation(PBA)。这里主要介绍两个AL算法。
MinExpError 和Uncertainty决定哪些items被送入crowd。那么接下来就需要处理crowd-provided labels的内在噪声（PBA，基于整数线性编程），决定使用crowd返回的哪个label。
本算法的一个主要的新奇之处在于使用了bootstrap理论。主要优点有：1bootstrap可以对很多的评估器产生稳定的估计；2基于bootstrap的估计可以通过将分类器看作黑盒来得到；3bootstrap需要的计算可以独立进行，适合分布式系统。
Activate Learning(AL)
Ranker-AL
Bootstrap