Flume基础配置

官网: http://flume.apache.org/
描述: Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性。它使用简单的可扩展数据模型,允许在线分析应用程序。

Flume角色:

  1. source 数据源,用户采集数据,source产生数据流,同时会把产生的数据流传输到channel。
  2. channel 传输通道,用于桥接source和sink。
  3. sink 下沉,用于收集channel传输的数据,将数据源传递到目标源。
  4. event 在flume中使用事件作为传输的基本单元。

Flume使用:
简单易用,只需要写配置文件即可

Flume安装配置:

  1. 官网下载。http://flume.apache.org/download.html 下载页只有最新版本,下载其他版本可以看右下角的“Previous_Releases”,点击“archive repository.”
  2. 上传到Linux服务器
  3. 解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz
  4. 重命名:mv apache-flume-1.6.0-bin/ flume
  5. 修改配置文件
    在安装包下的conf文件夹下,修改模板文件名 mv flume-env.sh.template flume-env.sh
    编辑配置文件:vi flume-env.sh
    增加JAVA_HOME:export JAVA_HOME=/root/hd/jdk1.8.0_141
    配置完毕。

Flume启动命令:
bin/flume-ng agent 使用ng启动agent
–conf conf/ 指定配置所在的文件夹
–name a1 指定的agent别名
–conf-file conf/flumejob_telnet.conf 执行的配置文件
-Dflume.root.logger=INFO,console 日志级别

猜你喜欢

转载自blog.csdn.net/huanshilang1985/article/details/88797759