前言
下面是我根据业务需求画了一个架构图,没有特别之处,很普通,都是我们常见的中间件,都是一些幂等性GET 请求。有一个地方很有意思,从service 分别有10000 qps 请求到Redis,并且它们的key 是一样的。这样一个简单的业务,Redis 就需要承担20000qps,此时监控 redis 我们会发现有一个峰值,如果Redis 没有值,这些流量会穿透到PostgreSQL,监控PostgreSQL也有一个峰值。于是我在想,如果在Service 层我们我们让流量排队阻塞,只需一个流量去请求Redis 获取数据,那么所有的key 不都获取数据了吗?对于Redis 和 PostgreSQL 来说流量就是1,那么流量的收缩比就是20000:2也就是10000:1,这是很高效的。
描述了那么多,这个方案可以用来解决缓存击穿,实际上它超越了这个问题。这个方案这么好,我们该怎么实现了,在这里我们用 Singleflight 去实现。接下来我将着重讲解 Singleflight 。
一、什么是Singleflight
字面解释就是单飞模式,我通常叫它归并回源策略。它的主要目的是确保在任何给定时间内,对昂贵或重复操作的调用只有一次。当多个 goroutine 请求相同资源时,singleflight 可确保函数只执行一次,并且结果由所有调用者共享。这种模式在不适合缓存或结果会经常变化的情况下特别有用。
二、Singleflight是如何工作的
单飞机制非常简单,它提供了一个Group,每个Group 代表一类工作,我们需要做的就是这类工作中,需要防止重复操作。
-
首次启动,第一次请求资源时,会初始化Group并且对计算资源函数进行调用
-
并发请求处理,如果在初始请求仍在处理过程中,又有其他对同一资源的请求提出,单飞会保留这些调用。
-
结构共享,一旦第一个请求完成,结果将返回给原始调用者,并同时与所有其他等待的调用者共享。
-
防止重复,整个过程中,要保证一类工作函数只会调用一次,防止重复工作。
三、Singleflight 的优点
-
效率:通过确保只有一个请求完成工作,可避免对服务和数据库造成不必要的负载。
-
简单:singleflight 抽象了处理对同一资源的并发请求的复杂性,使您的代码更简洁、更易懂。
-
资源优化: 它有助于优化内存和 CPU 的使用,因为相同的计算不会重复多次。
四、Singleflight 的redis 请求
wg := &sync.WaitGroup{}
wg.Add(10)
for i := 0; i < 10; i++ {
go func() {
defer wg.Done()
v, _, _ := group.Do("key1", func() (interface{}, error) {
client := redis.NewClient(
&redis.Options{Addr: "127.0.0.1:6379"},
)
a := client.Get(context.Background(), "a")
return a, nil
})
fmt.Println(v)
}()
}
wg.Wait()
output:
用wireshark 抓包可以看到
只有一个客户端发起了请求,所有的客户端都返回了数据
五、Singleflight 方法讲解
-
Do:这个方法执行一个函数,并返回函数执行的结果。你需要提供一个 key,对于同一个 key,在同一时间只有一个在执行,同一个 key 并发的请求会等待。第一个执行的请求返回的结果,就是它的返回结果。函数 fn 是一个无参的函数,返回一个结果或者 error,而 Do 方法会返回函数执行的结果或者是 error,shared 会指示 v 是否返回给多个请求。
-
DoChan:类似 Do 方法,只不过是返回一个 chan,等 fn 函数执行完,产生了结果以后,就能从这个 chan 中接收这个结果
-
Forget:告诉 Group 忘记这个 key。这样一来,之后这个 key 请求会执行 f,而不是等待前一个未完成的 fn 函数的结果。
Do 和 DoChan 最终都会调用 doCall,只不过 Do 是同步,如果一个key 处理的很慢就可能造成阻塞,DoChan 是异步调用的,这个地方一定要注意不同的key 的数据,每个不同的key 都要开一个goroutine ,数量多的话就会造成系统的内存OM掉了。这个地方大家一定要注意了,建议用协程池。