布隆过滤器(Bloom Filter)用来检测在大量数据中是否包含某个指定元素。
一、基本原理
1、存储过程
将长度为m的位数组a的所有位全部置0;
用k个相互独立的哈希函数h()对要查找的元素进行计算;
如果hi(a) = x,其中1≤i≤k,1≤x≤m,则将位数组a中第x位置1。
2、查找过程
对于要查找的某个元素a,用相同的k个哈希函数对其进行计算,则位数组b中有t个位为1,其他为0;
将位数组a与数组b进行比较,如果b中为1的位在a中也为1,那么集合中包含该元素,否则不包含。
二、误判
例子:
元素A使数组a中第1、3、5位置1,元素B使数组a中第5、7、9位置1,现在要查找元素C。
经过三个哈希函数计算后,元素C使数组b中第1、5、9位置1。
比较数组a和数组b后发现,第1、5、9位都是1,因此得出错误结论:元素C在集合中。
Bloom Filter会发生误判,但不会发生漏判。即如果某元素不在集合中,可能判断为在;但如果某元素在集合中,则一定会做出正确判断。
三、参数确定
数组大小m、集合大小n、哈希函数个数k与误判率p的关系:
p=(1−e−kn/m)k
最优哈希函数个数k为:
k=mnln2
影响内存大小的m:
m=−nlnp(ln2)2
四、改进
布隆过滤器只能用于增加元素并查询的情况,而无法删除其中的元素。
改进的方法称为计数布隆过滤器(Counting Bloom Filter),即位数组中,每一“位”用多个比特位来表示。当增加元素时,将相应的“位”加1,删除元素时,将相应的“位”减1。