一、Flume的安装
==Flume安装很简单,解压好基本上就可以使用==
1、下载安装包
http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.2.tar.gz
flume-ng-1.6.0-cdh5.14.2.tar.gz
2、规划安装目录
3、上传安装包到服务器
4、解压安装包到指定的规划目录
tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz -C /kkb/install
5、重命名解压目录
mv apache-flume-1.6.0-cdh5.14.2-bin flume-1.6.0-cdh5.14.2
6、修改配置
进入到flume安装目录下的conf文件夹中
先重命名文件
mv flume-env.sh.template flume-env.sh
修改文件,添加java环境变量
vim flume-env.sh
export JAVA_HOME=/kkb/install/jdk1.8.0_141
二、Flume的使用
1、监控本地的文件修改情况,并将其在控制台输出
(单机安装Flume,不需要启动HDFS)
2、监控本地的文件修改情况,将其按照格式存入HDFS上
(单机安装Flume, 需要启动HDFS)
3、监控某目录文件修改情况,将其按照格式存入HDFS上
(单机安装Flume, 需要启动HDFS)
4、监控 A 机器上的文件修改情况,同网络与 B 机器上的flume级联,B机器接收A机器的信息并传输到HDFS上
(A,B 机器安装Flume, 需要启动HDFS)
5、故障转移 (当监控中的一台机器故障后,另一台机器自动接替工作)
6、负载均衡 (通过多台机器 轮流 去监控某目录下的信息)
7、静态拦截器 (监控多台电脑指定目录的修改信息,通过另一台机器 存储到HDFS的指定目录上)
8、自定义拦截器 (按照需求将不需要显示的内容按照编码掩盖)
9、自定义Source (监控数据库,将修改信息发送到本机控制台)
10、自定义Sink (监控本地文件,将修改信息发送给MySQL数据库)
flume的指令在实际运用时需要在后台执行(nohup)