我要评论一、sql语句优化
1. 批量插入代替单条插入
单条插入会频繁触发事务提交和日志写入，效率极低。
批量插入通过合并多条数据为一条sql语句，减少网络传输和sql解析开销。
-- 低效写法：逐条插入 insert into table (col1, col2) values (1, 'a'); insert into table (col1, col2) values (2, 'b'); -- 高效写法：批量插入 insert into table (col1, col2) values (1, 'a'), (2, 'b'), (3, 'c'), ...;
建议单次插入数据量：控制在 500~2000 行（避免超出 max_allowed_packet）。
2. 禁用自动提交（autocommit）
默认情况下，每条插入都会自动提交事务，导致频繁的磁盘i/o。
手动控制事务，将多个插入操作合并为一个事务提交：
start transaction; insert into table ...; insert into table ...; ... commit;
注意：事务过大可能导致 undo log 膨胀，需根据内存调整事务批次（如每 1万~10万 行提交一次）。
3. **使用 load data infile**
从文件直接导入数据，比 insert 快 20倍以上，跳过了sql解析和事务开销。
load data local infile '/path/data.csv' into table table fields terminated by ',' lines terminated by '\n';
适用场景：从csv或文本文件导入数据。
4. 禁用索引和约束
插入前禁用索引（尤其是唯一索引和全文索引），插入完成后重建：
-- 禁用索引 alter table table disable keys; -- 插入数据... -- 重建索引 alter table table enable keys;
禁用外键检查：
set foreign_key_checks = 0; -- 插入数据... set foreign_key_checks = 1;
二、参数配置优化
1. innodb引擎参数调整
**innodb_flush_log_at_trx_commit**：
- 默认值为 1（每次事务提交都刷盘），改为 0 或 2 可减少磁盘i/o。
- 0：每秒刷盘（可能丢失1秒数据）。
- 2：提交时写入os缓存，不强制刷盘。
**innodb_buffer_pool_size**：增大缓冲池大小（通常设为物理内存的 70%~80%），提高数据缓存命中率。
**innodb_autoinc_lock_mode**：设为 2（交叉模式），减少自增锁竞争（需mysql 8.0+）。
2. 调整网络和包大小
**max_allowed_packet**：增大允许的数据包大小（默认 4mb），避免批量插入被截断。
**bulk_insert_buffer_size**：增大批量插入缓冲区大小（默认 8mb）。
3. 其他参数
**back_log**：增大连接队列长度，应对高并发插入。
**innodb_doublewrite**：关闭双写机制（牺牲数据安全换取性能）。
三、存储引擎选择
1. myisam引擎
优点：插入速度比innodb快（无事务和行级锁开销）。
缺点：不支持事务和崩溃恢复，适合只读或允许数据丢失的场景。
2. innodb引擎
优点：支持事务和行级锁，适合高并发写入。
优化技巧：
- 使用 innodb_file_per_table 避免表空间碎片。
- 主键使用自增整数（避免随机写入导致的页分 裂）。
四、硬件和架构优化
1. 使用ssd硬盘
替换机械硬盘为ssd，提升i/o吞吐量。
2. 分库分表
- 将单表拆分为多个子表（如按时间或id范围），减少单表压力。
- 使用中间件（如shardingsphere）或分区表（partition by）。
3. 读写分离
主库负责写入，从库负责查询，降低主库压力。
4. 异步写入
将数据先写入消息队列（如kafka），再由消费者批量插入数据库。
五、代码层面优化
1. 多线程并行插入
将数据分片，通过多线程并发插入不同分片。
注意：需确保线程间无主键冲突。
2. 预处理语句（prepared statements）
复用sql模板，减少解析开销：
// java示例
string sql = "insert into table (col1, col2) values (?, ?)";
preparedstatement ps = conn.preparestatement(sql);
for (data data : list) {
ps.setint(1, data.getcol1());
ps.setstring(2, data.getcol2());
ps.addbatch();
}
ps.executebatch();
六、性能对比示例
| 优化方法 | 插入10万条耗时（秒） |
|---|---|
| 逐条插入（默认） | 120 |
| 批量插入（1000行/次） | 5 |
| load data infile | 1.5 |
总结
核心思路：减少磁盘i/o、降低锁竞争、合并操作。
推荐步骤：
- 优先使用 load data infile 或批量插入。
- 调整事务提交策略和innodb参数。
- 优化表结构（禁用非必要索引）。
- 根据硬件和场景选择存储引擎。
- 在架构层面分库分表或异步写入。
通过上述方法，可在mysql中实现每秒数万甚至数十万条的高效插入。
到此这篇关于mysql实现大数据量快速插入的性能优化的文章就介绍到这了,更多相关mysql大数据量插入内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网！
发表评论