golang常用库之-go.uber.org/automaxprocs包
github: https://github.com/uber-go/automaxprocs/
GOMAXPROCS 是 Go 提供的非常重要的一个环境变量。通过设定 GOMAXPROCS,用户可以调整调度器中 Processor(简称P)的数量。
GOMAXPROCS 在 Go 1.5 版本后的默认值是机器的 CPU 核数 (runtime.NumCPU)。而以 Docker 为代表的容器虚拟化技术,会通过 cgroup 等技术对 CPU 资源进行隔离。这类技术对 CPU 的隔离限制,导致 runtime.NumCPU() 无法正确获取到容器被分配的 CPU 资源数。runtime.NumCPU()获取的是宿主机的核心数。
设置 GOMAXPROCS 高于真正可使用的核心数后会导致Go调度器不停地进行OS线程切换,从而给调度器增加很多不必要的工作。
目前 Go 官方并无好的方式来规避在容器里获取不到真正可使用的核心数这一问题,而 Uber 提出了一种 Workaround 方法,利用 uber-go/automaxprocs 这一个包,可以在运行时根据 cgroup 为容器分配的CPU资源限制数来修改 GOMAXPROCS。
使用方法
package main
import (
"runtime"
_ "go.uber.org/automaxprocs"
)
func main() {
}
automaxprocs 解决了什么问题
线上容器里的服务通常都对 CPU 资源做了限制,例如默认的 4C。
但是在容器里通过 lscpu 仍然能看到宿主机的所有 CPU 核心:
这就导致 golang 服务默认会拿宿主机的 CPU 核心数来调用 runtime.GOMAXPROCS(),导致进程 数量远远大于可用的 CPU 核心,不仅导致 Golang Runtime 的调度成本提高,还引起频繁上下文切换,影响高负载情况下的服务性能。
automaxprocs自动识别cgroup为容器分配的cpu限制,来纠正gomaxprcos
具体实现原理,可以参考 uber automaxprocs 源码分析