1.大数据量的清洗
存储过程和定时任务对大数据量的清洗,过程过于复杂涉及到的中间变量过多,计算和统计过多,导致整个过程执行时间过长。
所以通过数据准备,通过一个中间表来抽取过程中的中间变量和逻辑变量,预先抽取一些数据,减轻整个数据清洗过程的压力。
这些存储过程一定考虑到执行的效率问题,索引的使用;尽量避免在where条件里使用函数,有一些条件能抽取到中间表中,尽量抽取出来。
1.1)数据准备
1.2)中间表
1.3)任务分解表
2.执行过程的监控
在大型执行过程中,要有一个可视化的监控,能够监控执行的效率,执行的状态,执行的开始/结束时间,执行的结果…
日志表,在软件设计的过程都必须考虑的过程执行的日志。
3.事件模型
自动化的执行涉及到触发问题,一般都需要事件触发的起点,怎么触发事件的执行?
3.1)定时任务
3.2)job
3.3)前台手动触发执行