大数据讲座(2018.07.15)

数据来了之后,

Hbase,插入删除数据有flush

Hbase,是有时间戳的

MySQL某一个列改名了,

Flink:实时往hbase中插入数据

Hbase可以对每张表打一份快照。

不怕数据同步消费。

Hivehbase的数据,效率极低。

hivehdfs上查数据,效率几分钟就能搞定。

Hbase

Kafaka

Stream

Storm

各个的优缺点

首先是功能的实现

其次是参数的调优

数据数量是PB

那些是用来计算的,哪些是用来传递参数的,那些是用来

所做的事:

功能的实现

最重要的是参数的调优

修改源代码

三点建议:

1. 多看源码

2. 多看官方文档

3. 多看错误日志

周报,日报,月报

交通部

Sqoop

Flume

会用就可以了

猜你喜欢

转载自blog.csdn.net/wyqwilliam/article/details/81056718