1.Flume介绍
flume:是一个分布式的数据采集系统。
flume的主要作用:最主要的就是收集日志文件。
现在采用的是ng版本,是cloudera公司作为自身一款产品开发的。
flume的运行机制
最核心的角色:agent(代理),由我们设定一个数据收的方式,一个代理代表一个服务
agent的组成:
source:指定从什么地方进行数据数据,指定数据源
channel:管道(信道),用于source和sink之间数据的传递。
event:传递的数据,传递的都是一个个的event
sink:(水槽),数据的下沉点,就是数据最终保存到什么位置 。
2.Flume的安装部署
略
服务的启动
bin/flume-ng agent --启动一个代理
-c conf --指定配置文件目录
-f conf/netcat-logger.conf --读取指定的配置文件
-n a1 --启动agent的名称
-Dflume.root.logger=INFO,console --前台日志打印