从大数据采集到数据存储—Flume 采集框架:分布式
数据源(模拟)----数据采集(Flume)—数据存储(HDFS:分布式文件系统)
Flume架构
数据采集:从一端到另一端
文件
Source (输入) -----> Channel( 事件的缓存)( 相当于水管)—> Slink( 输出)
HDFSf分布式文件系统)
Flume代码
#1.定义agent :a2(整体架构相加)
a2.sources=r2
a2.slinks=k2
a2.channel=c2
#2.定义Source 输入(文件—》exec)命令(tail -f)监控
a2.sources.r2.type=exec
a2.sources.r2.command=tail -f /opt/Andy
a2.source.r2.shell=/bin/bash -c
#3.定义Slink 输出(类型—》hdfs)
a2.slinks.k2.type=hdfs
a2.slinks.k2.hdfs.path=hdfs://bigtail:9000/flum/%t%m%d%H
#4.定义Channel (缓存—》内存 |磁盘 )
a2.channel.c2.type=memory
a2.channel.c2.capacity=1000 容量
a2.channel.c2.transactionCapacity=100 批量
#5.双向链接 (链接Source 与Slink)
a2.sources.r2.channels=c2
a2.slinks.k2.channel=c2
大数据
1)离线开发–》Hadoop、Flume、Hive、HBase、sqoop、Azkaban
2)实时开发–》Spark Flink
3)项目—》推荐 | 用户画像