1. 原理与机制
1.1 批量插入的数据库交互原理
在进行大规模数据写入时，单条 INSERT 的重复开销会被放大，批量插入通过一个语句提交多条记录来降低网络往返和解析成本。
数据库层通常支持 INSERT ... VALUES (...), (...), (...) 的形式，减少了网络往返次数，并提升了缓存命中率，进而提高了写入吞吐。
-- 示例：一次性插入多行
INSERT INTO user (name, age, city) VALUES
('Alice', 30, 'Beijing'),
('Bob', 25, 'Shanghai'),
('Carol', 27, 'Shenzhen');
通过对比单条插入，批量语句在执行计划上更有利于数据库优化器，可以利用批量缓存与拼接优化，降低 CPU 与 I/O 的综合成本。
1.2 JDBC 批处理与事务边界
在 Java 层，JDBC 批处理通过 addBatch / executeBatch 可以一次性提交多条 SQL，MyBatis 通过 foreach 的方式在 XML 映射中实现，减少了应用端的迭代成本。
保持一个合理的 事务边界，避免每条插入都提交，会带来高额的事务开销和锁竞争，从而拖慢整体吞吐。
// 使用 JDBC 的批量提交伪代码
connection.setAutoCommit(false);
PreparedStatement ps = connection.prepareStatement("INSERT INTO user (name, age) VALUES (?, ?)");
for (...) {ps.setString(1, name);ps.setInt(2, age);ps.addBatch();
}
ps.executeBatch();
connection.commit();
2. 实战实现方式
2.1 使用 MyBatis Foreach 批量插入
在 MyBatis 映射文件中，使用 foreach 标签批量组织参数，可以将多条记录合并成一条 INSERT 语句，提高写入吞吐。
通过设置参数，例如 collection、item、separator，实现可控的批量尺寸，确保单次执行的 SQL 不会过长。
INSERT INTO user (name, age, city)(#{row.name}, #{row.age}, #{row.city})
该方式的核心在于将一个批量数据映射为一条可执行的 SQL，避免逐条调用，显著提升批量写入性能。
2.2 分批执行与 ExecutorType.BATCH
默认执行器为 SIMPLE，切换为 ExecutorType.BATCH 可以在一个 Session 内将多条 SQL 拼接成一次性提交，降低对象创建与锁开销，提升批量写入的吞吐。
批量执行时要注意 最终提交点，避免中途抛错导致部分数据未写入，需要在异常处理逻辑中进行回滚或补偿。
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false);
try {for (List chunk : chunks) {mapper.insertBatch(chunk);}sqlSession.commit();
} finally {sqlSession.close();
}
3. 性能优化要点与常见坑
3.1 批量大小的权衡
批量大小影响网络传输与 SQL 语句长度，经验常见区间为 100-1000 条，需结合数据库日志和内存容量进行调整。
过大可能导致 单次 SQL 太长导致解析慢，过小则降低吞吐，且更频繁地触发提交与锁释放。
-- 伪代码示例：每批 500 条
-- INSERT INTO user (name, age) VALUES (...),(...),...;
3.2 语句长度与字段类型影响
长文本、BLOB 等字段会显著增加每条记录的体积，合理裁剪字段、统一数据类型，可降低报错与网络开销。
对于 自增主键 或 序列号，需要确保批量语句中对主键的处理正确，以免造成重复或冲突。
-- 使用默认自增主键，批量时不手动拼接主键
INSERT INTO order (user_id, total) VALUES
(101, 99.99), (102, 49.50), (103, 20.00);
3.3 关闭自动提交与减少托管事务
在批量插入时，关闭自动提交，手动控制提交时机，可以降低提交次数与锁等待，提升并发写入能力。
同时使用数据库连接池，复用连接，避免重复建立连接的开销，确保批量写入的稳定性和资源利用率。
4. 监控与验证效果
4.1 指标与工具
关键指标包括 吞吐量（TPS/吞吐）、延迟、以及每秒提交的 事务次数，通过 APM、日志或数据库监控实现，便于对比优化前后的差异。
常用工具覆盖数据库层的慢查询日志、应用端的追踪，以及中间件的批处理统计，帮助定位瓶颈。
// 简单的吞吐量统计示例
long start = System.currentTimeMillis();
int count = 0;
for (...) { mapper.insert(p); count++; }
long end = System.currentTimeMillis();
double tps = count / ((end - start) / 1000.0);
4.2 结果验证与对比
在实施优化后，应进行对比测试，对比前后数据一致性、吞吐提升与延迟变化，确认没有产生丢数据的风险。
