关于过期文件删除处理:
a)写文件的时候记录相关的日志,日志文件格式为:文件ID(这个时间上是分布式文件的ID);时间戳
b)使用日志文件删除策略如下:
1、读取一条记录,根据当前的ID读取fastDts中的文件,判断时间戳,如果满足有效期,删除;要不的话不变
2、如果日志不集中,每个服务器上都按照这个策略来处理也没有问题
c)可以采用日志集中框架:Facebook Scribe ; flume
如果文件不是特别多的情况下,将:文件ID(这个时间上是分布式文件的ID);时间戳保存在数据库中,然后从数据库中读取然后进行删除也没有任何问题。