从小白到大神之路之学习运维第75天-------构建Docker容器监控系统(理论讲解+安装部署Cadvisor+InfluxDB+Grafan、Cadvisor+Prometheus+Grafan)

第四阶段

时  间:2023年8月8日

参加人:全班人员

内  容:

构建Docker容器监控系统

目录

一、Cadvisor+InfluxDB+Grafan案例概述

(一)Cadvisor 

Cadvisor 产品特点:

(二)InfluxDB

InfluxDB应用场景:

InfluxDB主要功能:

InfluxDB主要特点:

(三)Grafana

Grafana主要特性:

二、Cadvisor+InfluxDB+Grafan监控组件架构

三、Cadvisor+InfluxDB+Grafan安装部署

四、Cadvisor +Prometheus+Grafana

(一)Cadvisor产品简介

(二)Prometheus产品简介

Prometheus的主要特征有:

(三)部署Granfana


一、Cadvisor+InfluxDB+Grafan案例概述

        Docker作为目前十分出色的容器管理技术,得到大量企业的青睐,在生产环境中使用Docker容器部署服务及应用的场景越来越多。所以面对日益庞大的docker服务群应用,如何具有针对性的,有效的监控也变成了企业运维人员工作需求。

        容器信息采集及监控的方案有很多,有docker自身的docker stats命令、Scout、Data Dog、Prometheus等,本次为大家分享两款比较经典的容器开源监控组合方案Cadvisor +InfluxDB+Grafana和Cadvisor +Prometheus+Grafana。

(一)Cadvisor 

        Cadvisor 是Google用来监测单节点资源信息的监控工具。 Cadvisor 提供了基础查询界面和http接口,方便其他组件如Grafana 、Prometheus等进行数据抓取。Cadvisor 可以对Docker主机上的资源及容器进行实时监控和性能数据采集,包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况等。Cadvisor 使用Go语言开发,利用Linux的Cgroups获取容器的资源使用信息。

        Google的Kubernetes中也默认地将其作为单节点的资源监控工具,各个节点默认会安装上Cadvisor组件。

Cadvisor 产品特点:

可以展示主机和容器两个层次的监控数据。

可以展示历史变化数据。

谷歌公司的开源产品。

监控指标齐全。

方便部署,有官方的docker镜像。

默认只在本地保存1分钟数据,可以集成InfluxDB等第三方存储使用。

        由于 Cadvisor 提供的操作界面略显简陋,而且需要在不同页面之间跳转,并且只能监控一个 Host,这不免会让人质疑它的实用性。

        但 Cadvisor 的一个亮点是它可以将监控到的数据导出给第三方工具,由这些工具进一步加工处理。

        我们可以把 Cadvisor  定位为一个监控数据收集器,收集和导出数据是它的强项,而非展示数据。

(二)InfluxDB

        InfluxDB是一个由InfluxData开发的开源非关系型时序型数据库。它由Go写成,着力于高性能地查询与存储时序型数据。

InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。

        同类型的数据库产品还有Elasticsearch、Graphite等。

InfluxDB应用场景:

        性能监控,应用程序指标,物联网传感器数据和实时分析等的后端存储。

InfluxDB主要功能:

        基于时间序列,支持与时间有关的相关函数(如最大,最小,求和等);

可度量性:你可以实时对大量数据进行计算;

基于事件:它支持任意的事件数据;

InfluxDB主要特点:

无结构(无模式):可以是任意数量的列;

支持拓展;

支持min, max, sum, count, mean, median 等一系列函数,方便统计;

原生的HTTP支持,内置HTTP API;

强大的类SQL语法;

自带管理界面,方便使用;

(三)Grafana

        Grafana是一个可视化面板(Dashboard)工具,有着非常漂亮的图表和布局等展示功能,功能齐全的度量仪表盘和图形编辑器,支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB等组件作为数据源。

Grafana主要特性:

灵活丰富的图形化选项;

可以混合多种风格;

支持白天和夜间模式;

支持多个数据源;

二、Cadvisor+InfluxDB+Grafan监控组件架构

监控组件架构图:

提示:InfluxDB用于数据存储,Cadvisor 用户数据采集,Grafana用于数据展示。

监控组件架构部署方案:

创建自定义网络monitor(自定义网络名称),用于后期容器加入此网络中;

创建Influxdb容器,创建数据用户、数据库;

创建Cadvisor 容器;

创建Grafana容器,配置grafana;

三、Cadvisor+InfluxDB+Grafan安装部署

1、安装docker-ce

[root@huyang2 ~]# iptables -F

[root@huyang2 ~]# setenforce 0

[root@huyang2 ~]# systemctl stop firewalld

[root@huyang2 ~]# cd /etc/yum.repos.d/

[root@lhuyang2 ~]# wget

http://mirrors.aliyun.com/repo/Centos-7.repo

[root@huyang2 ~]# yum -y install yum-utils device-mapper-persistent-data lvm2

[root@huyang2 ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

[root@huyang2 ~]# yum -y install docker-ce

[root@huyang2 ~]# systemctl start docker

[root@huyang2 ~]# systemctl enable docker

[root@huyang2 ~]# docker version

2、阿里云镜像加速器

阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台

[root@huyang2 ~]# cat << END > /etc/docker/daemon.json

{

    "registry-mirrors":[ "https://nyakyfun.mirror.aliyuncs.com" ]

}

END

[root@huyang2 ~]# systemctl daemon-reload

[root@huyang2 ~]# systemctl restart docker

3、下载组件镜像

[root@huyang2 ~]# docker pull tutum/influxdb

[root@huyang2 ~]# docker pull google/cadvisor

[root@huyang2 ~]# docker pull grafana/grafana

[root@huyang2 ~]# docker images

4、创建自定义网络

为了把后期创建的Cadvisor+InfluxDB+Grafana这三个容器都加入自己定义的网络便于理解和管理,所以才新建一个自定义网络。

[root@huyang2 ~]# docker network create monitor

[root@huyang2 ~]# docker network ls

        Ps备注:假如出现上述网络创建不成功的话,则重启docker,然后再创建网络,这样就可以创建成功了!

[root@huyang2 ~]# docker network inspect monitor

5、创建influxdb容器

启动容器,tutum/influxdb镜像这里没有指定版本,默认会pull最新版本的influxdb:

[root@huyang2 ~]# docker run -d --name influxdb --net monitor -p 8083:8083 -p 8086:8086 tutum/influxdb

查看influxdb容器是否启动:

[root@localhost ~]# docker ps -l

参数说明:

-d :后台运行此容器;

--name :启运容器分配名字influxdb;

--net : 把容器加入到新的网络monitor;

-p :映射端口,8083端口为infuxdb后台控制端口,8086端口是infuxdb的数据端口;

tutum/influxdb:通过这个容器来运行的,默认会在docker官方仓库pull下来;

访问influxdb控制台http://192.168.100.132:8083:

        从上图可以看到,在Query Templates选项中提供了常用的操作模板,可根据这些模版来管理influxdb,下面我们就来创建数据库和数据库用户。

CREATE USER "root" WITH PASSWORD '123456' WITH ALL PRIVILEGES

        创建Cadvisor 数据库cadvisor 、用户root,用户和数据库大家可以自行随意定义,用于后期grafana的配置:

CREATE DATABASE "cadvisor"

呈现如下图:

6、创建Cadvisor 容器

[root@huyang2 ~]# docker run -d --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro --net monitor --publish=8080:8080  --name=cadvisor google/cadvisor -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxdb:8086

参数说明:

-d:后台运行此容器;

--name:启运容器分配名字Cadvisor ;

--net:把容器加入到新的网络monitor;

-p:映射端口8080;

--mout:把宿主机的相文目录绑定到容器中,这些目录都是Cadvisor 需要采集的目录文件和监控内容;

-storage_driver:需要指定Cadvisor 的存储驱动、数据库主机、数据库名;

google/Cadvisor :通过Cadvisor 这个镜像来运行容器,默认会在docker官方仓库把镜像pull下来;

7、查看Cadvisor 容器:

[root@huyang2 ~]# docker ps -l

通过http://192.168.100.132:8080端口访问测试一下,第一次访问这个页面有点慢

从上图可以看到,其实Cadvisor 也有基础的图形展示功能,我们这里主要用它来做数据采集。

(1)准备测试镜像

[root@huyang2 ~]# docker run -itd  --name nginx -p 8000:80 nginx

[root@huyang2 ~]# docker ps -l

(2)通过http://192.168.100.132:8080端口访问测试

点击“docker”-->找到nginx的运行ID--->查看

出图如下:

8、创建granafa容器

[root@huyang2 ~]# docker run -d --name grafana --net monitor -p 3000:3000 grafana/grafana

查看运行结果:

[root@huyang2 ~]# docker ps -l

访问granfana,通过http://192.168.100.132:3000端口的方式访问,默认账户密码(admin/admin),首次登陆需要更新密码。

重设密码:123456

登录测试:“welcome to grafana”

添加数据源Add  data source,如下图:

新建 Dashboard,如下图:

同理可得到下图:

        到这里Cadvisor+InfluxDB+Grafana容器监控系统就部署完成了,至于其它grafana的监控项配置不重点介绍。

大家如果感兴趣可以参考一些官方资料都是图形化的界面操作。

四、Cadvisor +Prometheus+Grafana

(一)Cadvisor产品简介

        Cadvisor是Google开源的一款用于展示和分析容器运行状态的可视化工具。通过在主机上运行Cadvisor用户可以轻松的获取到当前主机上容器的运行统计信息,并以图表的形式向用户展示。

1、部署Cadvisor

被监控主机上部署Cadvisor容器

[root@huyang3 ~]# docker pull google/cadvisor

[root@huyang3 ~]# docker run -d \

--volume=/:/rootfs:ro \

--volume=/var/run:/var/run:ro \

--volume=/sys:/sys:ro \

--volume=/var/lib/docker/:/var/lib/docker:ro \

--volume=/dev/disk/:/dev/disk:ro \

--publish=8080:8080 \

--detach=true \

--name=cadvisor \

google/cadvisor:latest

2、访问cAdvisor页面

访问http://192.168.100.133:8080 cAdvisor页面可以看到收集到的数据

(二)Prometheus产品简介

Prometheus是一个最初在SoundCloud上构建的开源系统监视和警报工具包。

        自2012年成立以来,很多公司和组织都采用了Prometheus,该项目拥有非常活跃的开发者和用户社区。 它现在是一个独立的开源项目,可以独立于任何公司进行维护。 为了强调这一点,并阐明项目的治理结构,Prometheus于2016年加入Cloud Native Computing Foundation(云原生基金会),作为继Kubernetes之后的第二个托管项目。

Prometheus的主要特征有:

多维度数据模型-由指标键值对标识的时间序列数据组成;

PromQL,一种灵活的查询语言;

不依赖分布式存储; 单个服务器节点是自治的;

以HTTP方式,通过pull模型拉取时间序列数据;

支持通过中间网关推送时间序列数据;

通过服务发现或者静态配置,来发现目标服务对象;

支持多种多样的图表和界面展示。

1、部署Prometheus 

[root@huyang3 ~]# docker pull prom/prometheus

2、先准备配置

[root@huyang3 ~]# vim /tmp/prometheus.yml

# my global config

global:

  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.

  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.

  # scrape_timeout is set to the global default (10s).


# Alertmanager configuration

alerting:

  alertmanagers:

  - static_configs:

    - targets:

      # - alertmanager:9093


# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.

rule_files:

  # - "first_rules.yml"

  # - "second_rules.yml"


# A scrape configuration containing exactly one endpoint to scrape:

# Here it's Prometheus itself.

scrape_configs:

  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

  - job_name: 'prometheus'


    # metrics_path defaults to '/metrics'

    # scheme defaults to 'http'.


    static_configs:

    - targets: ['localhost:9090']

  - job_name: 'docker'      ##定义一个叫docker的组

    static_configs:

- targets: ['192.168.100.133:8080']   ##填写一个或多个cadvisor的主机地址用逗号隔开

运行容器

[root@huyang3 ~]# docker run -d \

--name=prometheus  -p 9090:9090  \

-v /tmp/prometheus.yml:/etc/prometheus/prometheus.yml \

-v /etc/localtime:/etc/localtime \

prom/prometheus

2、访问prometheus页面

http://192.168.100.133:9090

看到docker组状态up为正常

查询项是可以查到数据的

(三)部署Granfana

1、下载grafana并运行

[root@huyang3 ~]# docker pull grafana/grafana

[root@huyang3 ~]# docker run -d \

--name=grafana \

 -p 3000:3000 \

grafana/grafana

2、配置Granfana

访问http://192.168.100.133:3000默认账户admin 密码 admin首次登陆需要修改密码!

3、配置数据源

 

4、导入模板

5、选择对应的数据源,点击导入,就可以看到被监控主机的数据

6、准备测试容器

[root@huyang3 ~]# docker run -d --name=nginx -p 80:80 nginx

7、WEB操作,如下:(新建+编+保存)

8、结果如下:

到此Cadvisor +Prometheus+Grafana基本架构部署完毕

猜你喜欢

转载自blog.csdn.net/2302_77582029/article/details/132165943