重点技术-20170703-数据计算分类与推荐方案

离线计算:(全数据分析)          LogTail-->LogStore-->LogShipper-->OSS -->Hive加载成数据仓库 -->SparkSQL/MaxCompute

在线计算:(365天内数据分析)  LogTail--> LogStore--> LogSearch/Consumer Lib

实时数据:(实时数据请求)         Http请求/消息队列MQ-->Redis/MongoDB/Memcache/MySQL

备注:
1、日志服务按“Shard数量、数据流量、存储空间、请求次数”收费。
2、已经被投递到OSS的日志,若被人为从OSS中删除,系统将不会自动重新投递。

猜你喜欢

转载自blog.csdn.net/namelessfighter/article/details/80547287