前言
在缓存系统中,如果发生了缓存未命中,通常会向数据库或者其他的缓存系统来请求数据。
想象这样一种情况,缓存系统中某个热点值被删除了,随后一大批请求到来,造成大量的cache miss
,如果这些请求全部都转向DB,那么会造成DB请求量大,压力增加,这就是典型的缓存击穿。
那么如何避免缓存击穿这种情况呢?
通常有如下几种办法:
-
设置永不过期的缓存:对于一些特别热门的数据可以设置成永不过期,这样可以避免由于缓存过期而导致的缓存击穿。
-
缓存预热:在系统启动或者是缓存过期之前,可以把可能会被访问到的数据提前加载到缓存中,这样可以避免缓存过期导致的缓存击穿。
-
使用singlefight将多个对数据库的请求转变成一个。
本文着眼于singlefight方法,接下来会讲解singlefight的原理及实现。
singlefight原理及实现
原理
singleflight是一种让相同的请求在短时间内的全局范围内只执行一次的机制。即,当多个goroutine并发的调用相同请求时,只有一个请求会被执行,而其他的请求会等待第一个请求执行结束后,再返回执行结果。
此算法的核心就是使用一个map结构来保存key与函数运行状态的映射,在每次调用函数的时候,检查key是否在map中,如果存在,说明已经有相同请求的函数正在调用了,就不会额外的运行函数,而是等待之前函数运行的结果;如果不存在,就会运行函数。
实现
定义Call保存函数运行状态:
type Call struct {
wg sync.WaitGroup
val interface{}
err error
}
定义Group用于与用户交互,也是singleflight的核心结构体,map用于存储key与函数运行状态的映射,锁用于保护map值的并发修改:
type Group struct {
mu sync.Mutex
m map[string]*Call
}
为Group编写Do方法,核心逻辑就是判断key在map中是否存在,如果存在就会等待函数运行完毕后返回(通过waitgroup),如果不存在则会调用fn函数,注意要用锁保护map的并发访问:
func (g *Group) Do(key string,fn func()(interface{},error))(interface{},error) {
g.mu.Lock()
//懒加载
if g.m == nil{
g.m = make(map[string]*Call)
}
if v,ok:=g.m[key];ok{
g.mu.Unlock()
v.wg.Wait()
return v.val,v.err
}else {
c := &Call{}
c.wg.Add(1)
g.m[key] = c
g.mu.Unlock()
c.val,c.err = fn()
c.wg.Done()
g.mu.Lock()
delete(g.m,key)
g.mu.Unlock()
return c.val,c.err
}
}
编写测试代码进行测试吧:
func TestGroup_Do(t *testing.T) {
var wg sync.WaitGroup
g := &Group{}
var num int
//模仿Db函数
getDb := func(i int,key string)[]byte {
log.Println(i,"search the Db for",key)
num++
time.Sleep(1*time.Second)
return []byte(key)
}
key := "key"
for i := 0; i < 10; i++ {
go func(i int) {
wg.Add(1)
v,_:=g.Do(key, func() (interface{}, error) {
return getDb(i,key),nil
})
log.Println(i,"get the data :",v)
wg.Done()
}(i)
}
time.Sleep(2*time.Second)
for i := 10; i < 20; i++ {
go func(i int) {
wg.Add(1)
v,_:=g.Do(key, func() (interface{}, error) {
return getDb(i,key),nil
})
log.Println(i,"get the data :",v)
wg.Done()
}(i)
}
wg.Wait()
if num > 2 {
log.Fatal("wrong!there are two many getDb!")
}
}
测试结果并发接受到多个请求时,只会运行一个请求。
Sync.Once和SingleFlight对比
Sync.Once和SingleFlight的功能比较像,但是也有一些区别:
sync.Once
用于确保某个函数在多线程环境下只被执行一次。当多个线程同时调用 Do()
方法时,只有第一个调用的线程会执行函数,其他线程会被阻塞等待,直到第一个线程完成。这个工具通常用于执行初始化操作,确保全局只会初始化一次。
singleflight
则是用于减少重复调用相同函数的次数。当多个线程同时调用 Do()
方法,如果相同的参数已经在处理中,那么后续的调用会被阻塞等待,直到处理完成后才返回相同的结果。如果参数不同,那么会启动新的处理流程。这个工具通常用于避免重复计算或者重复查询数据库等场景。
总的来说,sync.Once
主要用于保证某个函数只会被执行一次通常用于初始化中,而 singleflight
主要用于避免重复计算和查询通常用于数据库中。如保证缓存击穿。