大数据开源工具--组件

将离线包上传ftp进行使用

一、docker 安装使用:

(1)解压
[root@tingnan-DB3 ~]# tar xzvf docker-18.03.1-ce.tgz

(2)将docker文件夹中的内容全部移动到/usr/bin/目录下
[root@tingnan-DB3 ~]# sudo cp docker/* /usr/bin/

(3)开启docker守护进程

[root@tingnan-DB3 ~]# sudo dockerd &

(4)docker版本测试

[root@tingnan-DB3 ~]# docker -v

设置docker开机自启动参考网站:https://www.cnblogs.com/luoSteel/p/10038954.html

二、docker服务运行监控工具部署安装

[root@tingnan-DB3 ~]# tar xvzf prometheus-2.6.1.linux-amd64.tar.gz
移动到安装目录:
[root@tingnan-DB3 ~]# mv prometheus-2.6.1.linux-amd64 /usr/local/prometheus

进入目录:
[root@tingnan-DB3 ~]# cd /usr/local/prometheus

修改配置文件底部监控本机:
[root@tingnan-DB3 prometheus]# vim prometheus.yml

scrape_configs:

  • job_name: ‘prometheus’
    static_configs:

    监控本地及端口

    • targets: [‘xiangsikai:9090’]

配置文件注解

注:Prometheus从目标机上通过http方式拉取采样点数据, 它也可以拉取自身服务数据并监控自身的健康状况。

注:当然Prometheus服务拉取自身服务采样数据,并没有多大的用处,但是它是一个好的DEMO。
global:
####### 默认情况下,每15s拉取一次目标采样点数据。
scrape_interval: 15s
####### 我们可以附加一些指定标签到采样点度量标签列表中, 用于和第三方系统进行通信, 包括:federation, remote storage, Alertmanager
external_labels:
####### 下面就是拉取自身服务采样点数据配置
monitor: ‘codelab-monitor’
scrape_configs:
####### job名称会增加到拉取到的所有采样点上,同时还有一个instance目标服务的host:port标签也会增加到采样点上

  • job_name: ‘prometheus’
    ####### 覆盖global的采样点,拉取时间间隔5s
    scrape_interval: 5s
    static_configs:
    • targets: [‘localhost:9090’]

启动服务

./prometheus --config.file=prometheus.yml

指定配置文件

–config.file=“prometheus.yml”
###指定监听地址端口
–web.listen-address=“0.0.0.0:9090”

最大连接数

–web.max-connections=512

tsdb数据存储的目录,默认当前data/

–storage.tsdb.path=“data/”

premetheus 存储数据的时间,默认保存15天

–storage.tsdb.retention=15d

启动选项了解:./prometheus --help

其它大数据工具

node.js -----node-red

Grafana -----可视化监控指标展示工具

dataX --------数据抽取工具

DolphinScheduler --------调度工具

猜你喜欢

转载自blog.csdn.net/tandelin/article/details/106562953