数据来了之后,
Hbase,插入删除数据有flush
Hbase,是有时间戳的
MySQL某一个列改名了,
Flink:实时往hbase中插入数据
Hbase可以对每张表打一份快照。
不怕数据同步消费。
Hive查hbase的数据,效率极低。
用hive从hdfs上查数据,效率几分钟就能搞定。
Hbase
Kafaka
Stream
Storm
各个的优缺点
首先是功能的实现
其次是参数的调优
数据数量是PB
那些是用来计算的,哪些是用来传递参数的,那些是用来
所做的事:
功能的实现
最重要的是参数的调优
修改源代码
三点建议:
1. 多看源码
2. 多看官方文档
3. 多看错误日志
周报,日报,月报
交通部
Sqoop
Flume
会用就可以了