一、前言
cgroup在K8S中有重要应用,K8S参考书籍:
公司一个项目用linux 的 cgroup 技术来限制进场cpu和内存使用,具有非常好的学习意义,所以业余写下笔记,来记录一下cgroup的使用
cgroup 可以绑定一组进程集合,他的内核接口暴露是通过linux伪文件系统来实现的,我们可以通过linux 上一些特定的文件来限制进场cpu和内存的使用
二、cgroup学习
介绍地址:
https://man7.org/linux/man-pages/man7/cgroups.7.html
cgroup 现在有两个版本 v1 和 v2
每个cgroup 都有自己的一组文件,通过读取写入来限制cpu和内存
挂载v1控制器
使用cgroup必须在编译内核的时候使用CONFIG_CGROUP选项
为了使用v1控制器,你必须挂载一个cgroup的文件系统,他一般挂载到
/sys/fs/cgroup下面,例如挂载一个cpu控制器:
mount -t cgroup -o cpu none /sys/fs/cgroup/cpu
挂载多个cgroup控制器到相同的层级:
mount -t cgroup -o cpu,cpuacct none /sys/fs/cgroup/cpu,cpuacct
卸载cgroup
umount /sys/fs/cgroup/pids
卸载cgroup的时候我们要首先确保他没有子cgroup才可以卸载。
每个cgroup控制器都有一个配置项管理
cpu:
他可以在限制进程使用cpu额度的下限和上限
cpuacct
按组计算cpu使用情况
cpuset
绑定cgroup中的进程到一组cpu上
memory
控制进程使用内存的上限和下限
devices
控制哪些进程可以创建设备驱动 mknod
freezer
可以暂停和恢复所有cgroup的系统
net_cls
可以将cgroup的classid放到网络包上
blkio
限制块设备以io形式对存储节点的访问,有两种限制策略,基于权重时间和io速率
perf_event
允许对cgroup的进程使用perf
net_prio
允许指定cgroup网络接口的优先级
hugetlb
限制cgroup大页的使用
pids
限制cgroup中进程数量
rdma
允许RDMA控制器使用RDMA/IB-有限制的使用每个cgroup特定的资源。
环境介绍
我们找cat /proc/mounts,发现没有cgroup
# cat /proc/mounts |grep cgroup
cgroup2 /sys/fs/cgroup cgroup2 rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0
发现我的电脑上是v2版本,v1版本是:
cgroup /sys/fs/cgroup/systemd cgroup rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd 0 0
cgroup /sys/fs/cgroup/cpu,cpuacct cgroup rw,nosuid,nodev,noexec,relatime,cpuacct,cpu 0 0
cgroup /sys/fs/cgroup/net_cls,net_prio cgroup rw,nosuid,nodev,noexec,relatime,net_prio,net_cls 0 0
cgroup /sys/fs/cgroup/devices cgroup rw,nosuid,nodev,noexec,relatime,devices 0 0
cgroup /sys/fs/cgroup/freezer cgroup rw,nosuid,nodev,noexec,relatime,freezer 0 0
cgroup /sys/fs/cgroup/pids cgroup rw,nosuid,nodev,noexec,relatime,pids 0 0
cgroup /sys/fs/cgroup/cpuset cgroup rw,nosuid,nodev,noexec,relatime,cpuset 0 0
cgroup /sys/fs/cgroup/hugetlb cgroup rw,nosuid,nodev,noexec,relatime,hugetlb 0 0
cgroup /sys/fs/cgroup/memory cgroup rw,nosuid,nodev,noexec,relatime,memory 0 0
cgroup /sys/fs/cgroup/blkio cgroup rw,nosuid,nodev,noexec,relatime,blkio 0 0
cgroup /sys/fs/cgroup/perf_event cgroup rw,nosuid,nodev,noexec,relatime,perf_event 0 0
v2版本:
cgroup2 /sys/fs/cgroup cgroup2 rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0
我们发现v2版本的mount option只有
rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0
三、使用c++简单完成一个cgroupv2版本的使用
调用:
#include <iostream>
#include "cgroup.h"
int main() {
CGroup cGroup;
int ret = cGroup.sureMount("/home/zhanglei/cgroup/red/", "red", "rw");
return 0;
}
挂载cgroup2实现
void cgroupMkdir(const std::string& path) {
char tmpPath[PATH_MAX];
::realpath(path.c_str(), tmpPath);
std::cout << tmpPath << std::endl;
int ret = access(tmpPath, F_OK);
if (ret == -1) {
int ret = mkdir(tmpPath, S_IRWXU );
if (ret == -1) {
std::cout << strerror(errno) << std::endl;
}
return cgroupMkdir(path);
}
return;
}
bool CGroup::sureMount(std::string path, std::string name, std::string subsystem) {
cgroupMkdir(path);
std::cout << path << std::endl;
int ret = ::mount(name.c_str(), path.c_str(), "cgroup2", 0, subsystem.c_str());
if (ret != 0) {
std::cout << "mount:" << strerror(errno) << std::endl;
return false;
}
std::cout << "ok" << std::endl;
return true;
}
我们发现/home/zhanglei/cgroup/red下面多了一些文件
cg1 cgroup.max.descendants cgroup.threads cpu.stat io.cost.model io.stat misc.capacity sys-kernel-tracing.mount
cg2 cgroup.procs cpu.pressure dev-hugepages.mount io.cost.qos memory.numa_stat sys-fs-fuse-connections.mount system.slice
cgroup.controllers cgroup.stat cpuset.cpus.effective dev-mqueue.mount io.pressure memory.pressure sys-kernel-config.mount user.slice
cgroup.max.depth cgroup.subtree_control cpuset.mems.effective init.scope io.prio.class memory.stat sys-kernel-debug.mount
四、使用cgroup 限制cpu案例
我们使用php写一个demo
<?php
while(1) {
}
运行后他是可以占用一个核的cpu,也就是最大到100%
现在我们使用cgroups 来限制他,将进程 test.php pid写入cg1的目录下
ps aux|grep test.php|grep -v "grep"|awk '{print $2}' > /home/zhanglei/cgroup/red/cg1/cgroup.procs
限制test.php 的cpu
echo "200000 1000000" > /home/zhanglei/cgroup/red/cg1/cpu.max
发现test.php 只用了20
这意味着1秒内 php 最多执行200毫秒我们看下效果
10670 zhanglei 20 0 91168 21224 16560 R 19.9 0.1 5:52.18 php