批量执行SQL语句
当需要成批插入或者更新记录时,可以采用Java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处理。
JDBC的批量处理语句包括下面三个方法:
- addBatch(String):添加需要批量处理的SQL语句或是参数;
- executeBatch():执行批量处理语句;
- clearBatch():清空缓存的数据
通常我们会遇到两种批量执行SQL语句的情况:
- 多条SQL语句的批量处理;
- 一个SQL语句的批量传参;
代码实现
首先我们在数据库中创建一个名为names的表,并向其中出入20000条数据。
CREATE TABLE names(
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20)
);
方式一:仅使用PreparedStatement
public static void testInsert(){
Connection conn = null;
PreparedStatement ps = null;
try {
long start = System.currentTimeMillis();
//获取数据库连接
conn = JDBCUtils.getConnection();
String sql = "insert into goods(name) values(?)";
//预编译sql语句
ps = conn.prepareStatement(sql);
//给预编译sql语句传参
for (int i = 1; i <= 2000 ; i++) {
ps.setObject(1,"name_"+i);
ps.execute();
}
long end = System.currentTimeMillis();
//计算插入20000语句所花费的时间
System.out.println("花费时间为:"+ (end - start));
} catch (Exception e) {
e.printStackTrace();
}finally {
JDBCUtils.closeResourse(conn,ps);
}
}
方式二:批量执行预定义的sql语句
- 使用:addBatch() executeBatch() clearBatch() 进行批处理操作
- mysql服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持。
?rewriteBatchedStatements=true 写在配置文件的url后面 - 有的老版本的mysql驱动是不支持批处理的,我是用的版本是:mysql-connector-java-5.1.37-bin.
public static void testInsert2(){
Connection conn = null;
PreparedStatement ps = null;
try {
long start = System.currentTimeMillis();
conn = JDBCUtils.getConnection();
String sql = "insert into goods(name) values(?)";
ps = conn.prepareStatement(sql);
for (int i = 1; i <= 2000 ; i++) {
ps.setObject(1,"name_"+i);
//将sql语句放入batch
ps.addBatch();
if (i % 500 == 0){
//2.执行Batch
ps.executeBatch();
//3.清空Batch
ps.clearBatch();
}
}
long end = System.currentTimeMillis();
System.out.println("花费时间为:"+ (end - start));
} catch (Exception e) {
e.printStackTrace();
}finally {
JDBCUtils.closeResourse(conn,ps);
}
}
方式三:批量插入优化 – 设置连接不允许自动提交数据
在方式二的基础上操作使用 Connection 的 setAutoCommit(false) / commit()来设置不允许提交事务/提交事务
public static void testInsert3(){
Connection conn = null;
PreparedStatement ps = null;
try {
long start = System.currentTimeMillis();
conn = JDBCUtils.getConnection();
//设置不允许自动提交数据
conn.setAutoCommit(false);
String sql = "insert into goods(name) values(?)";
ps = conn.prepareStatement(sql);
for (int i = 1; i <= 2000 ; i++) {
ps.setObject(1,"name_"+i);
//将sql语句放入batch
ps.addBatch();
if (i % 500 == 0){
//2.执行Batch
ps.executeBatch();
//3.清空Batch
ps.clearBatch();
}
}
//提交数据
conn.commit();
long end = System.currentTimeMillis();
System.out.println("花费时间为:"+ (end - start));
} catch (Exception e) {
e.printStackTrace();
}finally {
JDBCUtils.closeResourse(conn,ps);
}
}