关于增量更新 全量更新的思路历程

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_15936309/article/details/86624905

背景:调第三方接口调取全部数据存入数据库(数据量较大)。之后都是操作数据库。

这时需要定时任务。定时调api获取最新的数据。更新到数据库。

目的:更新页面显示内容信息。

思路:

差分更新

拉取更新数据更新数据库。

以页面显示数据为基础到表中查是否有更新数据。有则更新。没有则不做操作。

具体做法:

建个表存接口返回数据。

1 数据初始化:清空表里数据。拉取接口全部数据存入数据库。此步骤只执行一次。

2 定时任务:

以下所有判断以调取接口的updatetime字段为条件。

  1. 调接口获取更新数据。条件为大于表中所存的最大updetime。存入表中(如果是表中存在的,看有没有修改,有的话就更新;如果表中不存在,则添加)。
  2. 以media数据为基础到表中查是否有更新数据。有则更新(即放到队列中跑定时任务)。没有则不做操作。

猜你喜欢

转载自blog.csdn.net/qq_15936309/article/details/86624905