配置Ganglia监控hadoop2.2与hbase0.96
OS: ubuntu12.04 LTS
ganglia版本3.1.7
Hadoop版本2.2.0
Hbase 0.96
1 Ganglia的架构
Ganglia有3部分组成
1. gmond
运行在每个节点上监视收集统计信息,同时可以收发统计信息,它可以运行在广播模式或单播模式
2. gmetad
从gmond以poll的方式收集和存储原数据
3. ganglia-web
跑在gmetad的机器上,访问gmetad存储的元数据并由apache web提供用户访问接口
2 安装Ganglia
2.1 Ganglia服务器端安装
Ganglia服务器端收集监控端信息,并提供访问接口,使用以下命令安装:
$ sudo apt-get install rrdtool apache2 php5 gmetad ganglia-monitor ganglia-webfrontend
2.2 Ganglia客户端安装
$ sudo apt-get install ganglia-monitor
3 配置Ganglia
说明:本文以组播的方式配置ganglia,单播方式没有配置成功。
3.1 服务器端
$ sudo vim /etc/ganglia/gmetad.conf
data_source "hadoop" ubuntu01 ubuntu02 ubuntu03
只需要更改 data_source一行,"hadoop"代表集群的名字,ubuntu01,ubuntu02,ubuntu03,就是要监控的机器列表。默认端口8649。
3.2 监控端配置
$ sudo vim /etc/ganglia/gmond.conf
将cluster选项中 name设置为gmetad.conf中data_source指定的名称即可(hadoop)。
3.3 安装新版本的ganglia-web(可选)
1、将 ganglia-web-3.5.12.tar.gz拷贝到gmetad的机器上。
下载地址:http://jaist.dl.sourceforge.net/project/ganglia/ganglia-web/3.5.12/ganglia-web-3.5.12.tar.gz
2、tar xvzf ganglia-web-3.5.12.tar.gz
3、cd ganglia-web-3.5.12
4、sudo make install
5、sudo rm –rf /var/www/ganglia
6、sudo ln -s /usr/share/ganglia-webfrontend /var/www/ganglia
4 启动服务
$sudo service gmetad start //启动server端
$ sudo service ganglia-monitor start //启动client端
5 配置hadoop hbase
sudo vi hadoop-metrics2.properties #其他都注释掉
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 #以下配置根据主机实际部署的情况进行配置 |
sudo vi hadoop-metrics2-hbase.properties #其他都注释掉
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 |
说明:
这里再说下server里的IP和端口,是从哪里获取的,就是从我刚才介绍的第二个文件里获取,网上很多资料在介绍的过程中,并没有说明这个,第二个内容截取部分内容如下:
udp_send_channel {
#bind_hostname = yes # Highly recommended, soon to be default.
# This option tells gmond to use a source address
# that resolves to the machine's hostname. Without
# this, the metrics may appear to come from any
# interface and the DNS names associated with
# those IPs will be used to create the RRDs.
mcast_join = 239.2.11.71
port = 8654
ttl = 1
}
6 启动 apache,重启hbase hadoop集群
检查一下/var/www/ganglia 目录下是否有ganglia目录,http://gmetadIP/ganglia