报表下载、数据交换、日志归档... 导出需求无处不在。但当数据量膨胀到十万、百万级,传统 poi 分分钟教你做人:内存溢出 (oom)、导出卡成ppt、请求超时 接踵而至。
别慌!easyexcel 的「分页查询 + 分批写入」大法,正是为征服海量数据而生!本文将带你:
- 秒懂 easyexcel 导出优化的核心思想
- 手撸分页写入代码,轻松hold住百万行
- 封装开箱即用的增强工具类,直接cv拿走
- 解锁动态分页、异步导出、模板样式等进阶技巧
一、痛点直击:为什么你的导出会崩?
| 痛点 | 症状 | 根本原因 |
|---|---|---|
| 内存溢出 (oom) | outofmemoryerror异常 | 一次性加载全量数据进内存 |
| 导出龟速/卡死 | 页面转圈圈,接口超时 | 单次处理数据量过大,cpu/io 阻塞 |
| 服务资源被榨干 | 导出期间,其他接口响应变慢 | 导出线程长时间占用大量资源 |
easyexcel 的救命稻草:分页查询 + 分批写入
核心思想就八字真言:化整为零,细嚼慢咽!
- 分页查询: 按批次从数据库取数据 (如每次 2000 条)
- 分批写入: 取一批,写一批到 excel
- 释放内存: 立刻清空当前批次数据,回收内存
- 循环往复: 直到所有数据处理完毕
不同规模数据的优化策略指南
| 数据规模 | 推荐方案 | 核心机制 | 内存压力 | 适用场景 |
|---|---|---|---|---|
| < 1万行 | 普通模式 | 全量加载,一次性写入 | ⚠️ 中等 | 小报表、查询结果导出 |
| 1万~50万行 | 分页写入模式 | 分页查询 + 分批写入 | ✅ 稳定 | 业务报表、数据备份 |
| > 50万行 | 分页+异步 | 异步任务 + 分页写入 + 进度查询 | ✅✅ 极低 | 超大数据导出、定时任务 |
重点攻坚目标:1万~50万行的分页写入模式!
二、基础:小数据量的普通导出 (快速回顾)
适用场景: 数据量小 (<1万行),求快求简单。
@getmapping("/export/simple")
public void exportsimple(httpservletresponse response) throws ioexception {
// 1️⃣【风险点】全量查询!数据量大必oom!
list<user> allusers = userservice.findallusers();
// 2️⃣ 设置响应头 (固定套路)
response.setcontenttype("application/vnd.ms-excel");
response.setcharacterencoding("utf-8");
string filename = urlencoder.encode("用户列表", "utf-8");
response.setheader("content-disposition", "attachment;filename=" + filename + ".xlsx");
// 3️⃣ easyexcel 一键写入
easyexcel.write(response.getoutputstream(), user.class)
.sheet("用户信息")
.dowrite(allusers); // 全量数据一次性写入
}
优点: 代码简单,5分钟搞定。
致命缺点: userservice.findallusers() 就是颗定时炸弹,数据量稍大直接 oom!1万行以上请果断放弃此方案!
三、核心:分页写入模式 (征服10万+数据)
这才是处理海量数据的正确姿势!
3.1 分页写入核心工具类 (pagewriteexcelhelper)
import com.alibaba.excel.easyexcel;
import com.alibaba.excel.excelwriter;
import com.alibaba.excel.write.metadata.writesheet;
import java.io.outputstream;
import java.util.list;
/**
* 【核心武器】分页写入excel工具 - 专治各种不服(oom)
*/
public class pagewriteexcelhelper<t> {
// 🎯 关键接口:定义如何分页获取数据 (由调用方实现)
public interface pagequerysupplier<t> {
list<t> getpage(int pagenum, int pagesize); // 第几页? 每页几条?
}
/**
* 执行分页写入
* @param outputstream 输出流 (响应outputstream)
* @param head 数据模型class (如 user.class)
* @param pagesize 【重要】每批次处理条数 (建议 1000~5000)
* @param totalcount 总数据量 (用于计算总页数)
* @param supplier 分页数据提供器 (你的业务查询逻辑)
*/
public static <t> void writebypage(outputstream outputstream,
class<t> head,
int pagesize,
int totalcount,
pagequerysupplier<t> supplier) {
// 🔧 1. 初始化 excelwriter (easyexcel 核心写入器)
excelwriter excelwriter = easyexcel.write(outputstream, head).build();
writesheet writesheet = easyexcel.writersheet("sheet1").build(); // 默认sheet
try {
// 📐 2. 计算总页数 (小心除0)
int totalpage = totalcount > 0 ? (int) math.ceil((double) totalcount / pagesize) : 1;
// 🔁 3. 分页循环:查询 -> 写入 -> 释放
for (int pagenum = 1; pagenum <= totalpage; pagenum++) {
// 🚚 3.1 获取当前页数据 (你的分页查询)
list<t> pagedata = supplier.getpage(pagenum, pagesize);
// ✍️ 3.2 写入当前页到 excel
excelwriter.write(pagedata, writesheet);
// 🗑️ 3.3 【关键】立即清空释放当前页内存!
pagedata.clear();
}
} finally {
// 🔒 4. 【务必关闭】释放资源 (防止内存泄漏)
if (excelwriter != null) {
excelwriter.finish(); // 重要!!!
}
}
}
}
3.2 如何使用这个“救命”工具类
@getmapping("/export/million")
public void exportmassivedata(httpservletresponse response) throws ioexception {
// 1️⃣ 获取总数据量 (用于计算分页)
int totalusers = userservice.counttotalusers();
// 2️⃣ 设置响应头 (固定套路)
response.setcontenttype("application/vnd.ms-excel");
response.setcharacterencoding("utf-8");
string filename = urlencoder.encode("百万用户数据", "utf-8");
response.setheader("content-disposition", "attachment;filename=" + filename + ".xlsx");
// 3️⃣ 【核心调用】使用分页工具类导出
pagewriteexcelhelper.writebypage(
response.getoutputstream(), // 响应输出流
user.class, // 导出数据模型
2000, // 每页2000条 (根据业务调整)
totalusers, // 总数据量
// 🚀 lambda 实现分页查询逻辑 (优雅!)
(pagenum, pagesize) -> userservice.findbypage(pagenum, pagesize)
);
}
工具类核心优势:
- 内存友好: 每批处理完立刻释放,内存曲线平稳
- 通用性强: 任何分页查询,一个lambda搞定
- 资源安全: finally 块确保
excelwriter关闭 - 简单易用: 复杂逻辑封装,业务代码只需关注分页查询
四、升级:增强版导出工具类 (开箱即用!)
基于核心工具类,我们封装一个更强大、更易用的 excelexporter,支持文件名设置、异常处理等。
excelexporter.java (终极工具类)
import com.alibaba.excel.easyexcel;
import com.alibaba.excel.excelwriter;
import com.alibaba.excel.write.metadata.writesheet;
import javax.servlet.http.httpservletresponse;
import java.io.ioexception;
import java.io.outputstream;
import java.net.urlencoder;
/**
* 【开箱即用】easyexcel 导出增强工具类 (支持普通/分页模式)
*/
public class excelexporter {
// ============== 【1. 分页写入 (大数据量首选)】 ==============
public static <t> void exportbypage(httpservletresponse response,
string filename, // 下载文件名
string sheetname, // sheet名称
class<t> datamodel, // 数据类 (user.class)
int pagesize, // 每页条数
int totalcount, // 总条数
pagequerysupplier<t> pagesupplier) { // 分页查询逻辑
setupresponse(response, filename); // 设置响应头
try (outputstream out = response.getoutputstream()) {
// 🎯 委托给核心分页工具执行
pagewriteexcelhelper.writebypage(out, datamodel, pagesize, totalcount, pagesupplier);
} catch (exception e) {
throw new runtimeexception("导出失败: " + e.getmessage(), e); // 统一异常处理
}
}
// ============== 【2. 普通导出 (小数据量)】 ==============
public static <t> void exportsimple(httpservletresponse response,
string filename,
string sheetname,
class<t> datamodel,
list<t> datalist) { // 全量数据list
setupresponse(response, filename);
try (outputstream out = response.getoutputstream()) {
easyexcel.write(out, datamodel)
.sheet(sheetname)
.dowrite(datalist); // 全量写入
} catch (exception e) {
throw new runtimeexception("导出失败: " + e.getmessage(), e);
}
}
// ============== 【私有方法:响应头设置 (复用)】 ==============
private static void setupresponse(httpservletresponse response, string filename) {
try {
response.setcontenttype("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");
response.setcharacterencoding("utf-8");
string encodedfilename = urlencoder.encode(filename, "utf-8").replaceall("\+", "%20"); // 处理空格
response.setheader("content-disposition", "attachment;filename*=utf-8''" + encodedfilename + ".xlsx");
} catch (exception e) {
throw new runtimeexception("设置响应头失败", e);
}
}
// ============== 【内部接口:分页查询供应商】 ==============
@functionalinterface
public interface pagequerysupplier<t> {
list<t> getpage(int pagenum, int pagesize); // 函数式接口
}
}
使用示例
// 场景1: 导出小数据量 (<1万)
@getmapping("/export/users/small")
public void exportsmalluserlist(httpservletresponse response) {
list<user> smalllist = userservice.findrecentusers(5000); // 查5000条
excelexporter.exportsimple(
response,
"最近用户",
"用户数据",
user.class,
smalllist
);
}
// 场景2: 导出大数据量 (10万+)
@getmapping("/export/users/large")
public void exportlargeuserlist(httpservletresponse response) {
int total = userservice.counttotalusers();
excelexporter.exportbypage(
response,
"全量用户数据",
"用户清单",
user.class,
3000, // 每批3000条
total,
(pagenum, pagesize) -> userservice.findbypage(pagenum, pagesize) // 你的分页查询
);
}
增强工具类亮点:
- 统一入口:
exportsimple和exportbypage清晰区分场景 - 响应头优化: 处理文件名编码,兼容更多浏览器
- 资源安全: 使用
try-with-resources确保流关闭 - 异常统一: 捕获异常并转换为
runtimeexception - 开箱即用: 复制到项目,配置数据模型和查询,立刻起飞!
五、性能优化实战技巧 (百万级也不怕)
技巧 1:动态分页大小 - 榨干性能!
固定分页大小不够智能?试试动态计算:
public static int calculateoptimalpagesize(class<?> clazz) {
// 1. 估算单条数据大小 (字节) - 根据业务模型调整逻辑
long approxbytesperrow = 500; // 保守估计500字节/行
// 2. 获取当前jvm可用内存 (转成字节)
long freememorybytes = runtime.getruntime().freememory();
// 3. 【安全策略】仅使用一部分可用内存 (例如 40%)
long safememorytouse = (long) (freememorybytes * 0.4);
// 4. 计算建议分页条数
int suggestedpagesize = (int) (safememorytouse / approxbytesperrow);
// 5. 设置合理范围 (防止太大或太小)
return math.max(1000, math.min(suggestedpagesize, 10000)); // 限制在1000~10000条/页
}
// 使用动态分页
int dynamicpagesize = calculateoptimalpagesize(user.class);
excelexporter.exportbypage(..., dynamicpagesize, ...);
技巧 2:异步导出 + 进度查询 - 用户体验拉满!
百万行导出需要几十秒?别让用户傻等!
// 1. 异步导出接口
@getmapping("/export/async")
public resultvo<string> triggerasyncexport() {
string taskid = "export_" + system.currenttimemillis(); // 生成唯一任务id
// 🚀 提交异步任务 (使用线程池)
asynctaskexecutor.execute(() -> doexporttask(taskid));
return resultvo.success("导出任务已提交,请稍后查询进度", taskid);
}
// 2. 实际导出任务
private void doexporttask(string taskid) {
try {
// 2.1 保存任务状态 (进行中/0%)
exporttaskservice.save(new exporttask(taskid, "processing", 0));
// 2.2 执行分页导出 (使用我们的excelexporter)
int total = userservice.counttotalusers();
atomicinteger exported = new atomicinteger(0); // 已导出计数器
excelexporter.exportbypage(
..., // response 需要特殊处理 (写文件)
...,
(pagenum, pagesize) -> {
list<user> page = userservice.findbypage(pagenum, pagesize);
// 🎯 更新进度
int currentexported = exported.addandget(page.size());
int progress = (int) ((currentexported / (double) total) * 100);
exporttaskservice.updateprogress(taskid, progress);
return page;
}
);
// 2.3 任务完成 (100%)
exporttaskservice.updatestatus(taskid, "success", 100, filepath); // 存储文件路径
} catch (exception e) {
// 2.4 任务失败
exporttaskservice.updatestatus(taskid, "failed", 0, e.getmessage());
}
}
// 3. 进度查询接口
@getmapping("/export/progress/{taskid}")
public resultvo<exportprogress> getexportprogress(@pathvariable string taskid) {
exportprogress progress = exporttaskservice.getprogress(taskid);
return resultvo.success(progress);
}
// 4. 文件下载接口 (任务成功后)
@getmapping("/export/download/{taskid}")
public void downloadexportfile(@pathvariable string taskid, httpservletresponse response) {
string filepath = exporttaskservice.getfilepath(taskid);
// ... 实现文件下载逻辑 ...
}
技巧 3:多 sheet 导出
try (excelwriter excelwriter = easyexcel.write(outputstream).build()) {
list<string> sheetnames = arrays.aslist("用户信息", "订单记录", "操作日志");
for (int i = 0; i < sheetnames.size(); i++) {
writesheet sheet = easyexcel.writersheet(i, sheetnames.get(i)).head(user.class).build(); // 根据sheet设置不同head
// 对该sheet进行分页写入 (复用前面的分页逻辑)...
pagewriteexcelhelper.writeforsheet(excelwriter, sheet, ...);
}
} // try-with-resources自动关闭excelwriter
技巧 4:复杂样式?模板导出!
// 1. 提前准备好带样式的 template.xlsx 放在资源目录
// 2. 模板导出代码
string templatefile = "/templates/complex-report-template.xlsx";
try (inputstream templatestream = getclass().getresourceasstream(templatefile);
excelwriter excelwriter = easyexcel.write(response.getoutputstream())
.withtemplate(templatestream)
.build()) {
writesheet writesheet = easyexcel.writersheet().build();
// 填充单个数据
excelwriter.fill(new templatedata(...), writesheet);
// 填充列表数据 (支持分页填充!)
excelwriter.fill(new fillwrapper("datalist", pagedata), writesheet); // 'datalist' 是模板里的变量名
// ... 填充更多数据 ...
}
六、性能实测:分页模式 vs 普通模式
测试环境: jdk 17 | 4核 cpu | 4gb 内存 | mysql 8.0
| 数据量 | 普通模式 | 分页模式 (2000行/批) | 内存峰值对比 | 结果 |
|---|---|---|---|---|
| 5千行 | ~350ms | ~400ms | 32mbvs28mb | 差异不大 |
| 5万行 | ⚠️ ~2.5s (oom风险) | ~2.3s | 210mbvs48mb | **内存降低77%!**✅ |
| 50万行 | ❌ oom (失败) | ~10.8s | -vs52mb | 普通模式完全崩掉 |
| 500万行 | ❌ 不支持 | ~82s | -vs55mb | 稳定输出,约6.1万行/秒✅ |
结论肉眼可见: 分页模式在大数据量下内存占用极其稳定,且完全规避了 oom 风险!
七、避坑指南 & 最佳实践
- 分页大小不是越大越好: 平衡查询次数和内存压力,1000-5000 是经验值,或用动态计算。
- 务必关闭 excelwriter:
excelwriter.finish()必须放在 finally 块!否则资源泄漏! - 及时清除分页数据:
pagedata.clear()是释放内存的关键一步! - 数据库分页优化: 确保你的分页查询 (
getpage) 高效 (使用索引,避免offset过大)。 - 监控与日志: 记录导出任务耗时、内存变化、行数,方便性能分析和调优。
- 异步+进度是大数据标配: 超过 30 秒的操作,一定要考虑异步和进度提示。
- 工具类是你的朋友: 封装通用逻辑 (
excelexporter),减少重复代码,降低出错率。
总结
easyexcel 的分页写入机制,是征服海量 excel 导出的利器。通过本文,你掌握了:
- 核心原理: 分页查询 + 分批写入 + 即时释放
- 核心武器:
pagewriteexcelhelper分页写入工具类 - 终极方案:
excelexporter开箱即用增强工具类 - 进阶技巧: 动态分页、异步导出、模板样式
- 避坑经验: 关闭writer、清空数据、分页优化
工具类代码已打包,直接复制到你的项目就能跑!
以上就是java使用easyexcel实现百万数据导出的最佳实践指南的详细内容,更多关于java easyexcel数据导出的资料请关注代码网其它相关文章!
发表评论