概述:
此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝
挑战:
计算 • 离线计算:灵活性低,但性能可控,数据产品的主流模式 • 实时计算:灵活性高,技术挑战较大 • 流式计算:数据时效性高,技术挑战较大 存储与查询 • 如何让查询更快 • 大数据的存储成本
架构图:
技术点:
用中间层隔离前后端,解耦合; 内存sql执行; Node.JS:使用多核;
更多详情参见附件
概述:
此分享是关于大数据产品中的异构数据源整合的汇总,作者来自于淘宝
挑战:
计算 • 离线计算:灵活性低,但性能可控,数据产品的主流模式 • 实时计算:灵活性高,技术挑战较大 • 流式计算:数据时效性高,技术挑战较大 存储与查询 • 如何让查询更快 • 大数据的存储成本
架构图:
技术点:
用中间层隔离前后端,解耦合; 内存sql执行; Node.JS:使用多核;
更多详情参见附件