一、需求
因项目需要对数据进行实时分析展示，需要实时收集关系性数据中的数据
二、设计方案
方案一
(1)为mysql创建 trigger
(2)通过创建是trigger去触发jave程序
(3)通过java程序去触发kettle.job实现数据的抽取同步。
总结：此方案设计复杂，繁琐。
方案二
(1)使用flume抽取sql server :board表中的数据，flume只能增量抽取，无法处理更新的数据
(2)为mysql创建 trigger,通过trigger将有变更的数据存到A表中
(3)使用flume抽取A表有更新的数据
(4)在Spark Streaming 中使用RDD对这两部分数据进行处理，使用filter得到真实的数据，进行相应的计算，实现实时的功能。
总结：实现起来简单，配置下flume就实现数据收集，程序开发也简单，所以最终采用的第二种方式，详细请查看后面的博文
《Flume抽取SQL Server设计方案具体实现》