我进行溯源分析,引擎优化时,通过二进制源码溯源检测scala语言项目测试,发现
竟然要23分钟,调大Hbase的文件对项目数也是。于是通过日志发现,在insert Project时
出现了问题。猜测是插入问题,因为要从1个项目中,获取此项目的所有文件,进行溯源对比后,插入。于是采用了事务+拼接的方式。
最后检测只花了2分钟,使检测速度提高提高了10倍。
以下是优化方案:
我进行溯源分析,引擎优化时,通过二进制源码溯源检测scala语言项目测试,发现
竟然要23分钟,调大Hbase的文件对项目数也是。于是通过日志发现,在insert Project时
出现了问题。猜测是插入问题,因为要从1个项目中,获取此项目的所有文件,进行溯源对比后,插入。于是采用了事务+拼接的方式。
最后检测只花了2分钟,使检测速度提高提高了10倍。
以下是优化方案: