❝来源:https://juejin.cn/post/7526786618159448083
推荐:https://chencoding.top:8090
❞
报表下载、数据交换、日志归档......导出需求无处不在。但当数据量膨胀到十万、百万级,传统 POI 分分钟教你做人:「内存溢出 (OOM)」、「导出卡成 PPT」、「请求超时」 接踵而至。
别慌!「EasyExcel 的「分页查询 + 分批写入」大法」,正是为征服海量数据而生!本文将带你:
| 「内存溢出 (OOM)」 | OutOfMemoryError | |
| 「导出龟速/卡死」 | ||
| 「服务资源被榨干」 |
「EasyExcel 的救命稻草:分页查询 + 分批写入」 核心思想就八字真言:「化整为零,细嚼慢咽!」
「不同规模数据的优化策略指南」
| 「< 1 万行」 | ||||
| 「1 万~50 万行」 | 「分页写入模式」 | |||
| 「> 5 0万行」 | 「分页+异步」 |
❝「重点攻坚目标:1 万~50 万行的分页写入模式!」
❞
「适用场景」:数据量小 (<1 万行),求快求简单。
@GetMapping("/export/simple")publicvoidexportSimple(HttpServletResponse response)throws IOException {// 1️⃣【风险点】全量查询!数据量大必OOM! List<User> allUsers = userService.findAllUsers(); // 2️⃣ 设置响应头 (固定套路) response.setContentType("application/vnd.ms-excel"); response.setCharacterEncoding("utf-8"); String fileName = URLEncoder.encode("用户列表", "UTF-8"); response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");// 3️⃣ EasyExcel 一键写入 EasyExcel.write(response.getOutputStream(), User.class) .sheet("用户信息") .doWrite(allUsers); // 全量数据一次性写入}userService.findAllUsers() 就是颗定时炸弹,数据量稍大直接 OOM!「1 万行以上请果断放弃此方案!」❝关注微信公众号:【Java陈序员】,获取「开源项目分享、AI副业分享、超200本经典计算机电子书籍等。」
❞
PageWriteExcelHelper)import com.alibaba.excel.EasyExcel;import com.alibaba.excel.ExcelWriter;import com.alibaba.excel.write.metadata.WriteSheet;import java.io.OutputStream;import java.util.List;/** * 【核心武器】分页写入Excel工具 - 专治各种不服(OOM) */publicclassPageWriteExcelHelper<T> {// 🎯 关键接口:定义如何分页获取数据 (由调用方实现)publicinterfacePageQuerySupplier<T> {List<T> getPage(int pageNum, int pageSize); // 第几页? 每页几条? }/** * 执行分页写入 * @param outputStream 输出流 (响应OutputStream) * @param head 数据模型Class (如 User.class) * @param pageSize 【重要】每批次处理条数 (建议 1000~5000) * @param totalCount 总数据量 (用于计算总页数) * @param supplier 分页数据提供器 (你的业务查询逻辑) */publicstatic <T> voidwriteByPage(OutputStream outputStream, Class<T> head,int pageSize,int totalCount, PageQuerySupplier<T> supplier){// 🔧 1. 初始化 ExcelWriter (EasyExcel 核心写入器) ExcelWriter excelWriter = EasyExcel.write(outputStream, head).build(); WriteSheet writeSheet = EasyExcel.writerSheet("Sheet1").build(); // 默认Sheettry {// 📐 2. 计算总页数 (小心除0)int totalPage = totalCount > 0 ? (int) Math.ceil((double) totalCount / pageSize) : 1;// 🔁 3. 分页循环:查询 -> 写入 -> 释放for (int pageNum = 1; pageNum <= totalPage; pageNum++) {// 🚚 3.1 获取当前页数据 (你的分页查询) List<T> pageData = supplier.getPage(pageNum, pageSize);// ✍️ 3.2 写入当前页到 Excel excelWriter.write(pageData, writeSheet);// 🗑️ 3.3 【关键】立即清空释放当前页内存! pageData.clear(); } } finally {// 🔒 4. 【务必关闭】释放资源 (防止内存泄漏)if (excelWriter != null) { excelWriter.finish(); // 重要!!! } } }}@GetMapping("/export/million")publicvoidexportMassiveData(HttpServletResponse response)throws IOException {// 1️⃣ 获取总数据量 (用于计算分页)int totalUsers = userService.countTotalUsers();// 2️⃣ 设置响应头 (固定套路) response.setContentType("application/vnd.ms-excel"); response.setCharacterEncoding("utf-8"); String fileName = URLEncoder.encode("百万用户数据", "UTF-8"); response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");// 3️⃣ 【核心调用】使用分页工具类导出 PageWriteExcelHelper.writeByPage( response.getOutputStream(), // 响应输出流 User.class, // 导出数据模型 2000, // 每页2000条 (根据业务调整)totalUsers, // 总数据量 // 🚀 Lambda 实现分页查询逻辑 (优雅!) (pageNum, pageSize) -> userService.findByPage(pageNum, pageSize) );}「工具类核心优势」:
finally 块确保 ExcelWriter 关闭基于核心工具类,我们封装一个更强大、更易用的 ExcelExporter,支持文件名设置、异常处理等。
ExcelExporter.java (终极工具类)import com.alibaba.excel.EasyExcel;import com.alibaba.excel.ExcelWriter;import com.alibaba.excel.write.metadata.WriteSheet;import javax.servlet.http.HttpServletResponse;import java.io.IOException;import java.io.OutputStream;import java.net.URLEncoder;/** * 【开箱即用】EasyExcel 导出增强工具类 (支持普通/分页模式) */publicclassExcelExporter{// ============== 【1. 分页写入 (大数据量首选)】 ==============publicstatic <T> voidexportByPage(HttpServletResponse response, String fileName, // 下载文件名 String sheetName, // Sheet名称 Class<T> dataModel, // 数据类 (User.class)int pageSize, // 每页条数int totalCount, // 总条数 PageQuerySupplier<T> pageSupplier) { // 分页查询逻辑 setupResponse(response, fileName); // 设置响应头try (OutputStream out = response.getOutputStream()) {// 🎯 委托给核心分页工具执行 PageWriteExcelHelper.writeByPage(out, dataModel, pageSize, totalCount, pageSupplier); } catch (Exception e) {thrownew RuntimeException("导出失败: " + e.getMessage(), e); // 统一异常处理 } }// ============== 【2. 普通导出 (小数据量)】 ==============publicstatic <T> voidexportSimple(HttpServletResponse response, String fileName, String sheetName, Class<T> dataModel, List<T> dataList){ // 全量数据List setupResponse(response, fileName);try (OutputStream out = response.getOutputStream()) { EasyExcel.write(out, dataModel) .sheet(sheetName) .doWrite(dataList); // 全量写入 } catch (Exception e) {thrownew RuntimeException("导出失败: " + e.getMessage(), e); } }// ============== 【私有方法:响应头设置 (复用)】 ==============privatestaticvoidsetupResponse(HttpServletResponse response, String fileName){try { response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"); response.setCharacterEncoding("UTF-8"); String encodedFileName = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20"); // 处理空格 response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + encodedFileName + ".xlsx"); } catch (Exception e) {thrownew RuntimeException("设置响应头失败", e); } }// ============== 【内部接口:分页查询供应商】 ==============@FunctionalInterfacepublicinterfacePageQuerySupplier<T> {List<T> getPage(int pageNum, int pageSize); // 函数式接口 }}// 场景1: 导出小数据量 (<1万)@GetMapping("/export/users/small")publicvoidexportSmallUserList(HttpServletResponse response){ List<User> smallList = userService.findRecentUsers(5000); // 查5000条 ExcelExporter.exportSimple( response,"最近用户","用户数据", User.class,smallList );}// 场景2: 导出大数据量 (10万+)@GetMapping("/export/users/large")publicvoidexportLargeUserList(HttpServletResponse response){int total = userService.countTotalUsers(); ExcelExporter.exportByPage( response,"全量用户数据","用户清单", User.class, 3000, // 每批3000条total, (pageNum, pageSize) -> userService.findByPage(pageNum, pageSize) // 你的分页查询 );}「增强工具类亮点」:
exportSimple 和 exportByPage 清晰区分场景try-with-resources 确保流关闭RuntimeException固定分页大小不够智能?试试动态计算:
publicstaticintcalculateOptimalPageSize(Class<?> clazz){// 1. 估算单条数据大小 (字节) - 根据业务模型调整逻辑long approxBytesPerRow = 500; // 保守估计500字节/行// 2. 获取当前JVM可用内存 (转成字节)long freeMemoryBytes = Runtime.getRuntime().freeMemory();// 3. 【安全策略】仅使用一部分可用内存 (例如 40%)long safeMemoryToUse = (long) (freeMemoryBytes * 0.4);// 4. 计算建议分页条数int suggestedPageSize = (int) (safeMemoryToUse / approxBytesPerRow);// 5. 设置合理范围 (防止太大或太小)return Math.max(1000, Math.min(suggestedPageSize, 10000)); // 限制在1000~10000条/页}// 使用动态分页int dynamicPageSize = calculateOptimalPageSize(User.class);ExcelExporter.exportByPage(..., dynamicPageSize, ...);❝百万行导出需要几十秒?别让用户傻等!
❞
// 1. 异步导出接口@GetMapping("/export/async")public ResultVo<String> triggerAsyncExport(){ String taskId = "EXPORT_" + System.currentTimeMillis(); // 生成唯一任务ID// 🚀 提交异步任务 (使用线程池) asyncTaskExecutor.execute(() -> doExportTask(taskId));return ResultVo.success("导出任务已提交,请稍后查询进度", taskId);}// 2. 实际导出任务privatevoiddoExportTask(String taskId){try {// 2.1 保存任务状态 (进行中/0%) exportTaskService.save(new ExportTask(taskId, "PROCESSING", 0));// 2.2 执行分页导出 (使用我们的ExcelExporter)int total = userService.countTotalUsers(); AtomicInteger exported = new AtomicInteger(0); // 已导出计数器 ExcelExporter.exportByPage( ..., // response 需要特殊处理 (写文件) ..., (pageNum, pageSize) -> { List<User> page = userService.findByPage(pageNum, pageSize);// 🎯 更新进度int currentExported = exported.addAndGet(page.size());int progress = (int) ((currentExported / (double) total) * 100); exportTaskService.updateProgress(taskId, progress);return page; } );// 2.3 任务完成 (100%) exportTaskService.updateStatus(taskId, "SUCCESS", 100, filePath); // 存储文件路径 } catch (Exception e) {// 2.4 任务失败 exportTaskService.updateStatus(taskId, "FAILED", 0, e.getMessage()); }}// 3. 进度查询接口@GetMapping("/export/progress/{taskId}")public ResultVo<ExportProgress> getExportProgress(@PathVariable String taskId){ ExportProgress progress = exportTaskService.getProgress(taskId);return ResultVo.success(progress);}// 4. 文件下载接口 (任务成功后)@GetMapping("/export/download/{taskId}")publicvoiddownloadExportFile(@PathVariable String taskId, HttpServletResponse response){ String filePath = exportTaskService.getFilePath(taskId);// ... 实现文件下载逻辑 ...}try (ExcelWriter excelWriter = EasyExcel.write(outputStream).build()) { List<String> sheetNames = Arrays.asList("用户信息", "订单记录", "操作日志");for (int i = 0; i < sheetNames.size(); i++) {// 根据Sheet设置不同head WriteSheet sheet = EasyExcel.writerSheet(i, sheetNames.get(i)).head(User.class).build(); // 对该Sheet进行分页写入 (复用前面的分页逻辑)... PageWriteExcelHelper.writeForSheet(excelWriter, sheet, ...); }} // try-with-resources 自动关闭 excelWriter// 1. 提前准备好带样式的 template.xlsx 放在资源目录// 2. 模板导出代码String templateFile = "/templates/complex-report-template.xlsx";try (InputStream templateStream = getClass().getResourceAsStream(templateFile); ExcelWriter excelWriter = EasyExcel.write(response.getOutputStream()) .withTemplate(templateStream) .build()) { WriteSheet writeSheet = EasyExcel.writerSheet().build();// 填充单个数据 excelWriter.fill(new TemplateData(...), writeSheet);// 填充列表数据 (支持分页填充!) excelWriter.fill(new FillWrapper("dataList", pageData), writeSheet); // 'dataList' 是模板里的变量名// ... 填充更多数据 ...}「测试环境」:JDK 17 | 4 核 CPU | 4GB 内存 | MySQL 8.0
| 「5 千行」 | ||||
| 「5 万行」 | 「内存降低 77%!」 | |||
| 「50 万行」 | ||||
| 「500 万行」 | 「稳定输出,约 6.1 万行/秒」 |
「结论肉眼可见」:「分页模式在大数据量下内存占用极其稳定,且完全规避了 OOM 风险!」
excelWriter.finish() 必须放在 finally 块!否则资源泄漏!pageData.clear() 是释放内存的关键一步!getPage) 高效 (使用索引,避免 offset 过大)。ExcelExporter),减少重复代码,降低出错率。EasyExcel 的分页写入机制,是征服海量 Excel 导出的利器。通过本文,你掌握了:
PageWriteExcelHelper 分页写入工具类ExcelExporter 开箱即用增强工具类「工具类代码已打包,直接复制到你的项目就能跑!」
「你在导出百万数据时还遇到过哪些坑?或者有什么独门优化技巧?欢迎在评论区分享!」
