今天来聊一下统计学中用于检测异常值的“3σ准则”
什么叫3σ准则
呢?其实它是用来粗略检测异常值的一种方法,类似的还有“1σ准则”
和“2σ准则”
,下面进行具体说明。
在统计学中,如果一个变量服从正态分布,且它的均值是
, 标准差是
,那么将有:
(1)68%的数据会落在 ± σ 内,即数据分布在处于( , )中的概率是0.68
(2)95%的数据会落在 ± 2σ 内,即数据分布在处于( , )中的概率是0.95
(3)99%的数据会落在 ± 3σ 内,即数据分布在处于( , )中的概率是099
所以当有一个数据落在均值(
) ± 三倍标准差(3σ) 外,我们可以初步把它看作是异常数据,这是因为数据落在均值(
) ± 三倍标准差(3σ) 外的概率只有1%,这种小概率的事件都发生了,我们就认为这个数据不是一个正常数据,换言之,它是一个异常数据。
tips:即使不是数据不服从正态分布,那么也有89%的数据落在均值的三个标准差范围内(出处忘记在哪了)
“3σ准则”
虽然简单,却可以粗略的检测异常数据,其他的相对复杂异常检测方法还有PCA法
、相似度法
以及孤立森林
等,后面再写一篇博客进行具体介绍。但是如果对精确要求不高,还是首选“3σ准则”
,毕竟我们要遵守“奥卡姆剃刀原理”,即“如无必要,勿增实体”