"大数据产品中的异构数据源整合"分享总结

概述:

此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝

挑战:

计算
• 离线计算:灵活性低,但性能可控,数据产品的主流模式
• 实时计算:灵活性高,技术挑战较大
• 流式计算:数据时效性高,技术挑战较大
存储与查询
• 如何让查询更快
• 大数据的存储成本

架构图:



 

技术点:

用中间层隔离前后端,解耦合;
内存sql执行;
Node.JS:使用多核;

更多详情参见附件

猜你喜欢

转载自snv.iteye.com/blog/1934704