Flume实战案例运维篇
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
一.Flume概述
1>.什么是Flume
Flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方。
官方地址:http://flume.apache.org/。
2>.Flume特性
(1)高可靠性 Flume提供了end to end的数据可靠性机制
(2)易于扩展 Agent为分布式架构,可水平扩展
(3)易于恢复 Channel中保存了与数据源有关的事件,用于失败时的恢复
(4)功能丰富 Flume内置了多种组件,包括不同数据源和不同存储方式
3>.Flume常用组件
(1)Source: 数据源,简单的说就是agent获取数据的入口。 (2)Channel: 管道,数据流通和存储的通道。一个source必须至少和一个channel关联。 (3)Sink: 用来接收channel传输的数据并将之传送到指定的地方,成功后从channel中删除。
4>.Flume架构
二.
三.