场景描述:
MySQL的IN的问题:由于in里面的内容过于庞大 (5000+),导致查询效率低下(4秒以上)。
SELECT * FROM xxx WHERE `id` IN(xxx)
计划解决方案:
1.测试得到IN里面的最佳数量
2.循环分多次查询
3.多线程共同执行
实际测试记录:
1.查询最佳数量
1次 4265ms、4177ms、4112ms 平均4.18秒 5643条
2次 1128ms、1105ms、1117ms 平均2.23秒 2822条
3次 326ms、298ms、326ms 平均1.27秒 1411条
8次 117ms、91ms、88ms、100ms、86ms 平均0.77秒 705条
20次 43 32 24 25 34 23 24 27 28 22 平均0.56秒 282条
40次 25 16 11 10 13 10 10 10 13 10 平均0.51秒 141条
30次 29 18 17 13 14 15 15 17 15 17 平均0.51秒 188条
结论:
20次和40次差距不大,又测试了30次的数据结果,结果和40次一样。
mysql查询次数对性能也有影响,所以我们以200条定为最佳数量值进行测试.
2.循环查询 (29次)
Integer total = orderIds.size();
Integer size = 200;
Integer pages = total % size == 0 ? total / size : total / size + 1;
List<Order> finalRes = new ArrayList<Order>(total);
for (int i = 0; i < pages; i++) {
Integer toIndex = (i + 1) * size > total ? total : (i + 1) * size;
//分批查询
List<Order> orderList = orderMapper.selectList(new EntityWrapper<Order>().in("id", orderIds.subList(i * size, toIndex)));
//组装结果
finalRes.addAll(orderList);
}
运行结果:
455ms、451ms、450ms 平均时间:0.45秒
3.多线程(12核)
Integer size = 200;
Integer total = orders.size();
Integer pages = total % size == 0 ? total / size : total / size + 1;
//线程池
ExecutorService service = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors());
List<InOrderIds> callables = new ArrayList<>();
for (int i = 0; i < pages; i++) {
Integer toIndex = (i + 1) * size > total ? total : (i + 1) * size;
callables.add(new InOrderIds(orderIds.subList(i * size, toIndex), i));
}
List<Future<List<Order>>> futures = service.invokeAll(callables);
List<Order> finalRes = new ArrayList<Order>(total);
futures.forEach((f) -> {
try {
System.out.println(finalRes.addAll(f.get()));
} catch (InterruptedException | ExecutionException e) {
e.printStackTrace();
}
});
service.shutDown();//释放资源
运行结果:
单核CPU 256ms、225ms、252ms 平均时间:0.244秒
多核(12)CPU 76ms、42ms、72ms 平均时间:0.063秒
最终结论:
IN里面最多200条达到性能瓶颈;
循环查询能提升近8-9倍的效率;
多线程是性能最好的,建议使用。