生产中,我们日志 从 flume -》 kafka -》hdfs
按天滚动,如果写入hdfs过程出现问题,程序终止,非正常退出。
因为我们是用流向hdfs里面写的,非正常退出,流未关闭,没有字节大小。如果重启过快,
再打开流会出问题(前一个流未关闭)
解决问题:
1、生产中产生的本地日志,也是按天的,可以先把出错的文件删掉,在第二天,手动导一下;
生产中,我们日志 从 flume -》 kafka -》hdfs
按天滚动,如果写入hdfs过程出现问题,程序终止,非正常退出。
因为我们是用流向hdfs里面写的,非正常退出,流未关闭,没有字节大小。如果重启过快,
再打开流会出问题(前一个流未关闭)
解决问题:
1、生产中产生的本地日志,也是按天的,可以先把出错的文件删掉,在第二天,手动导一下;