kettle6.1转换内正确的并发设置姿势

引子

网上很多教程没搞懂“改变开始复制的数量”这个意思,将数量设置在输入端,导致不仅没有进行多线程并发,反而变成复制读入多分数据导致开销增大,而且还造成了数据重复写入,这样还敢说性能提升,真是有鬼了。

实际效果

单线程效果

单线程插入

所谓的“多线程”,不仅没有提升速度,反而给我往文本文件里写了50W条数据,说这个多线程的,不会阅读什么叫“开始复制”这四个字吗,都说了复制了!!真是蠢爆了。

复制数5

正确姿势

复制数应当设置在输出端!这个时候是以流中的数据,变为5份执行。
输出端

加速!!

如果要进一步提升怎么办?应当通过相应规则设置输入步骤,比如分页、业务时间等

分页读

发布了25 篇原创文章 · 获赞 22 · 访问量 5万+

猜你喜欢

转载自blog.csdn.net/fzuzhanghao1993/article/details/103767914