概率论是用于表示不确定性声明的数学框架。
概率论使我们能够提出不确定性声明以及在不确定性存在的情况下进行推理，而信息论使我们能够量化概率分布中的不确定性总量。
信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化。在本系列教程中我们主要使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。
几乎所有的活动都需要一些在不确定性存在的情况下进行推理的能力。事实上，除了那些定义为真的数学声明，我们很难认定某个命题是千真万确的或者确保某件事一定会发生。
不确定性有三种可能的来源：
- 被建模系统内的随机性
- 不完全观测。即使是确定的系统，当我们不能观测到所有驱动系统行为的变量时，该系统也会呈现随机性。
- 不完全建模。当我们使用一些必须舍弃某些观测信息的模型时，舍弃的信息会导致模型的预测出现不确定性。
在很多情况下，使用一些简单而不确定的规则要比复杂而确定的规则更为实用，即使真正的规则是确定的并且我们建模的系统可以足够精确的容纳复杂的规则。