1. 项目背景与核心挑战

去年接手的一个电商后台系统改造项目，让我深刻体会到了批量数据插入的性能瓶颈。当时需要每小时处理近10万条订单数据，最初的单条插入方案导致数据库连接池频繁爆满，高峰期平均响应时间超过15秒。经过两周的紧急优化，最终通过组合多种批量插入技术将性能提升37倍。这段经历让我意识到，掌握高效的批量数据插入方案是后端开发者必须跨过的门槛。

Spring Boot 3.3在数据访问层带来了多项性能改进，特别是对批量操作的支持更加完善。本文将基于真实压测数据，对比分析五种主流的批量插入方案。每种方案都经过相同环境下的基准测试（MySQL 8.0，16核32G服务器，万级数据量），并附上可复现的代码示例。

2. 方案选型与技术解析

2.1 JdbcTemplate 批量模式

这是最基础的批量操作实现方式。通过启用 rewriteBatchedStatements=true 参数，配合 JdbcTemplate.batchUpdate() 方法，实测插入1万条数据仅需1.8秒。

关键配置：

spring.datasource.hikari.data-source-properties=rewriteBatchedStatements=true

典型实现代码：

public int[] batchInsert(List<Product> products) {
    return jdbcTemplate.batchUpdate(
        "INSERT INTO product(name,price,stock) VALUES(?,?,?)",
        new BatchPreparedStatementSetter() {
            @Override
            public void setValues(PreparedStatement ps, int i) throws SQLException {
                ps.setString(1, products.get(i).getName());
                ps.setBigDecimal(2, products.get(i).getPrice());
                ps.setInt(3, products.get(i).getStock());
            }
            @Override
            public int getBatchSize() {
                return products.size();
            }
        });
}

注意：必须确保JDBC URL中包含 rewriteBatchedStatements=true 参数，否则批量操作会退化为单条执行

2.2 MyBatis 批处理Executor

MyBatis的 BATCH 执行器能显著提升批量操作性能。在Spring Boot中配置 SqlSessionTemplate 时指定执行器类型：

@Bean
public SqlSessionTemplate sqlSessionTemplate(SqlSessionFactory sqlSessionFactory) {
    return new SqlSessionTemplate(sqlSessionFactory, ExecutorType.BATCH);
}

实测表现：

• 自动提交关闭时：1万条/1.2秒
• 每500条手动提交：1万条/0.9秒

性能差异主要来自事务提交开销。建议根据数据量设置合理的分批提交策略。

2.3 Spring Data JPA 的saveAll陷阱

很多开发者误以为 repository.saveAll() 就是批量插入，实际上该方法默认仍是单条执行。要实现真正的批量插入需要：

1. 配置 spring.jpa.properties.hibernate.jdbc.batch_size=50
2. 启用顺序ID生成策略
3. 配合 @Transactional 注解

优化后的测试结果：

• 无批处理：1万条/28秒
• 正确配置后：1万条/3.5秒

2.4 原生SQL拼接方案

对于超大批量数据（10万+），直接拼接SQL往往是最快方案：

public void bulkInsert(List<Product> products) {
    String sql = "INSERT INTO product(name,price,stock) VALUES " +
        products.stream()
            .map(p -> String.format("('%s',%s,%d)", 
                p.getName(), p.getPrice(), p.getStock()))
            .collect(Collectors.joining(","));
    jdbcTemplate.execute(sql);
}

性能表现：

• 1万条：0.6秒
• 10万条：4.3秒

警告：此方案需严格防范SQL注入风险，仅适用于可信数据源

2.5 存储过程批量处理

MySQL存储过程配合临时表方案：

CREATE PROCEDURE batch_insert_products(IN batch_json JSON)
BEGIN
    DECLARE i INT DEFAULT 0;
    DECLARE total INT;
    CREATE TEMPORARY TABLE temp_products(...);
    
    SET total = JSON_LENGTH(batch_json);
    WHILE i < total DO
        INSERT INTO temp_products VALUES(...);
        SET i = i + 1;
    END WHILE;
    
    INSERT INTO product SELECT * FROM temp_products;
    DROP TEMPORARY TABLE temp_products;
END

Java调用代码：

jdbcTemplate.update("CALL batch_insert_products(?)", 
    new Object[]{new Gson().toJson(products)});

3. 性能对比与选型建议

通过JMH基准测试获得的完整数据对比：

方案	1万条耗时(ms)	CPU占用	内存峰值(MB)	适用场景
JdbcTemplate	1800	45%	120	简单批处理
MyBatis BATCH	900	60%	150	MyBatis项目
JPA优化版	3500	70%	250	已有JPA架构
SQL拼接	600	85%	180	超大批量/可信数据
存储过程	1200	50%	200	复杂业务逻辑

选型决策树：

1. 数据量<1万：JdbcTemplate或MyBatis BATCH
2. 1万~10万：MyBatis BATCH+分批提交

3. 10万：考虑SQL拼接或存储过程

4. 已有JPA项目：务必配置 batch_size 和序列ID

4. 实战中的坑与解决方案

4.1 事务管理陷阱

批量操作必须注意事务边界。常见错误包括：

• 未启用事务导致自动提交开销
• 大事务导致锁等待超时

推荐做法：

@Transactional
public void batchProcess() {
    // 每1000条刷新并清空session
    for(int i=0; i<list.size(); i++) {
        entityManager.persist(list.get(i));
        if(i % 1000 == 0) {
            entityManager.flush();
            entityManager.clear();
        }
    }
}

4.2 内存溢出防范

处理百万级数据时，即使使用批量操作也可能OOM。解决方案：

1. 使用Spring Batch的分片处理
2. 实现ResultHandler逐条处理
3. 采用文件缓冲中间结果

4.3 主键冲突处理

批量插入时主键生成策略尤为关键：

• 自增ID：最安全但无法预知ID
• UUID：空间占用大但无冲突
• 雪花算法：推荐分布式场景

5. 高级优化技巧

5.1 连接池调优

批量操作需要特殊连接池配置：

spring.datasource.hikari.maximum-pool-size=20
spring.datasource.hikari.connection-timeout=30000
spring.datasource.hikari.max-lifetime=1800000

5.2 数据库端优化

MySQL服务端关键参数：

innodb_buffer_pool_size=4G
innodb_log_file_size=1G
innodb_flush_log_at_trx_commit=0 # 批量场景可适当降低安全性

5.3 监控指标

必备监控项：

• 批量执行耗时百分位（P99/P95）
• 数据库锁等待时间
• 连接池活跃连接数

通过Grafana配置的典型监控面板应包含：

1. 批量操作TPS趋势
2. 单批次处理时间分布
3. 数据库IO利用率

6. 未来演进方向

Spring Boot 3.3在数据访问层的新特性值得关注：

1. 响应式Repository对批量操作的支持
2. 增强的JDBC聚合操作
3. 更精细化的Hibernate批处理控制

最近在测试环境验证的一个新方案：结合虚拟线程（Project Loom）的异步批量提交，在相同硬件条件下实现了20%的性能提升。关键实现模式：

try (var executor = Executors.newVirtualThreadPerTaskExecutor()) {
    List<Future<Integer>> futures = new ArrayList<>();
    for (List<Product> batch : splitBatches(products, 1000)) {
        futures.add(executor.submit(() -> batchInsert(batch)));
    }
    
    int total = 0;
    for (Future<Integer> future : futures) {
        total += future.get();
    }
    return total;
}