Spark刷新当月数据的日期选择

昨天对数据发现4.30号没数据,神马情况?
之前都是没问题的,赶紧查原因。。。
根据设计文档,insert overwrite 刷新当月的分区数据

目前的做法:

create_date  > date_format(current_date,'yyyy-MM-01')

4.30号执行程序(更新4.1-4.30的数据)
5.1号执行程序(更新5.1-5.1的数据)
5.2号执行程序(更新5.1-5.2的数据)
假如业务人员5.1号更新了4.30号的数据,程序并没有更新!

正确的做法:

create_date  > date_format(date_sub(current_date,1),'yyyy-MM-01')

4.30号执行程序(更新4.1-4.29的数据)
5.1号执行程序(更新4.1-4.30的数据)
5.2号执行程序(更新4.1-5.1的数据)

发布了118 篇原创文章 · 获赞 25 · 访问量 15万+

猜你喜欢

转载自blog.csdn.net/lhxsir/article/details/90479413