这是一个创建于 1522 天前的主题，其中的信息可能已经有所发展或是发生改变。
在使用 PI 导出一千万行数据到 Excel 时，CPU 长时间爆炸
现在的解决方案是：
- 使用 SXSSFWorkbook 类
- 每 50W 数据划分 sheet
- 采用多线程，每个 sheet 开一个线程去跑
现已探明的问题：
一千万的数据在创建 Excel 前都存储在 list 中，当 list 占用内存很小时，导出很快，一旦 list 变得很大，分段导出都会变的很慢
 | 1 mhycy 2021-08-11 17:28:07 +08:00 先不说导出，就是成功导出了，这千万级数据的 Excel 有办法开么 |
 | 3 fengpan567 2021-08-11 17:45:40 +08:00 为什么要搞一个 1000W 大小的 list 出来，不能分页查吗？ |
 | 4 40aU4RaW20xf8hXn 2021-08-11 17:49:15 +08:00  1 搞明白客户的真实需求吧. |
 | 5 7925250 2021-08-11 17:53:05 +08:00 1 可以改造成流式导出，一千万的数据 (1.3GB) 导出，耗时 2 分钟 |
 | 6 wangkun025 2021-08-11 18:03:53 +08:00 Excel 目前单个 sheet 只能容纳 104 万行。不过可以分 sheet，sheet 数量没有限制。 |
 | 7 chendy 2021-08-11 18:22:05 +08:00 直接走数据库查询导出 csv 吧 |
 | 8 MidGap 2021-08-11 18:30:42 +08:00 曾经踩过内存溢出的坑，就是用使用 SXSSFWorkbook 类这个方法解决的，但是这样 IO 好像就会变密集，慢也是无法避免的。。 本身这个需求感觉就很扯淡，使劲 battle 一下多好~ 或者用 csv 啊，简单多了 |
| 9 MidGap 2021-08-11 18:31:42 +08:00 @fengpan567 excel 的 append 操作很坑，要先读到内存再往下写我记得 |
 | 10 aguesuka 2021-08-11 18:48:23 +08:00 8 直接导出 csv 文件, 能提出导出 1000 万行 excel 数据的客户估计也分不清这两种数据的区别 |
 | 11 franklinray 2021-08-11 18:52:06 +08:00 导出 1000 万行 excel，一般电脑都打不开吧。打开了谁能去查看数据……如果只是为了导出数据，然后导入其他系统做分析，换成 csv 不好吗 |
 | 12 binsys 2021-08-11 19:10:06 +08:00 我处理大量 EXCEL 数据用 MS 的 OPENXMLSDK ,在直接以 XML SAX 形式写入 |
 | 13 pengtdyd 2021-08-11 19:36:26 +08:00 什么样的电脑可以打开 1000w 的 excel，很难想象 |
 | 14 jzphx 2021-08-11 19:47:33 +08:00 easyexcel 尝试用过了吗 |
 | 15 liuxu 2021-08-11 21:24:46 +08:00 这种阔气的问题，只有 java 节点提的出来 |
 | 16 xuanbg 2021-08-11 21:40:30 +08:00 50 万行的 excel，我 i9/32G 的 mbp 打开是能打开，但很费劲。100 万行是想都不敢想，何况 1000 万行。SB 客户不能惯着 |
 | 17 7228897 2021-08-11 21:51:44 +08:00 单位的电脑 4G 内存，打开 40 万条的月数据已经卡的不能动了 |
 | 18 chenqh 2021-08-11 21:54:30 +08:00 1KW 估计内存会炸把 |
 | 19 EscYezi 2021-08-11 23:45:05 +08:00 via iPhone 之前用 easyExcel 看官网说是擅长导出大量数据，楼主可以体验一下 |
 | 20 jorneyr 2021-08-12 08:06:10 +08:00 这是要把整个数据库都给搬家了 |
 | 21 Kimen OP @fengpan567 数据实时在产生，分页查会导致第二页和第一页数据有重复 |
| 23 Kimen OP @jzphx 没有用过 easyexcel，我看文档 easyexcel 是基于注解的，但是我的数据流是 List<Map<String, Object>>这种形式的，不知道能不能用 |
| 25 Kimen OP @franklinray csv 就怕遇到逗号，用户在导出之前也不知道自己能不能打开，就想看看能不能导出来。看来我要跟领导提一下，限制用户的导出数量 |
 | 27 A1exlee 2021-08-12 09:06:38 +08:00 不建议一次性将一千万数据加载到 list，可以考虑分页读库，比如每次 load 100 万条，然后写入一个 excel，分开写 10 个 excel，通过编号确认顺序，最后客户端打包下载。 |
 | 29 spLite 2021-08-12 09:31:53 +08:00 数据库导出 Excel 或者 csv，应用程序只负责把导出的文件传输给用户。 “用户在导出之前也不知道自己能不能打开” 可以先手动搞一个 1000W 的 Excel 让客户打开看看么，如果他自己看下打开费劲，说不定自己就否了这方案了。 |
 | 30 doudou1523102 2021-08-12 09:42:38 +08:00 建议分批导出，然后进行压缩 |
 | 31 kifile 2021-08-12 10:06:25 +08:00 csv 不是也可以用 excel 打开吗？还是流式卸乳的，考虑考虑 |
 | 32 speedofstephen 2021-08-12 10:15:06 +08:00 poi 有流式 api 写 excel 的。建议不要全量放在 list 中 |
 | 33 lwjef 2021-08-12 10:28:12 +08:00 1 创建个占用空间很大的假 excel，反正用户打不开。(doge |
 | 35 onionKnight888 2021-08-12 11:05:26 +08:00 @liuxu 哈哈 你永远无法理解客户的需求有多奇葩 |
 | 36 zhenglin 2021-08-12 11:26:02 +08:00 建议导出为多个 csv 再压缩成 zip 文件，SB 需求不能接！再说千万数据在一个 Excel 里他如果是普通电脑能打开么？ |
 | 37 2bNot2b 2021-08-12 11:37:57 +08:00 excel 有行数上限，我记得 xls 是 10W 多吧，xlsx 是 1048576 |
 | 38 wqhui 2021-08-12 11:56:00 +08:00 上面三个方法我当时都用了，poi 我记得有个流模式，类似于窗口控制，读一部分写一部分这个会快很多，忘了是不是叫 SXSSFWorkbook，但占内存还是挺多的，我当时三百万记录差不多耗 2G 内存，不过为什么不分几个 excel 文件然后打成压缩包呢，excel 太大打开可能会崩溃 |
 | 39 aitaii 2021-08-12 12:24:46 +08:00 excel 很大，你的电脑忍一下 |
 | 40 Lemeng 2021-08-12 13:26:11 +08:00 千万级，客户也是秀逗 |
 | 41 kg2019 2021-08-12 13:27:41 +08:00 easyExce 了解一下 |
 | 42 levon 2021-08-12 13:30:49 +08:00 分文件吧，存在一个 excel 里干吗用 |
 | 43 jack778 2021-08-12 13:42:23 +08:00 那么大弄成一个文件怎么操作呢，客户的电脑配置有多牛呢 |
 | 44 Hallelu 2021-08-12 13:50:57 +08:00 之前跟一个客户做 excel 导出的功能，他说数据多，直接给他声明，单个 excel 超过一百万，不做.... |
 | 45 est 2021-08-12 14:13:44 +08:00 .csv 斥候 |
 | 46 dayeye2006199 2021-08-12 14:35:15 +08:00 建议走 tsv + 份文件 + 压缩的路线吧。 excel 虽然很牛。。但也不是万能的。 |
 | 47 Vegetable 2021-08-12 14:38:04 +08:00 实际上，这个性能瓶颈时 Excel 本身带来的，Excel 天生不适合大规模数据，导出到 Excel 是一个非常耗时的操作。建议不要分 Sheet，而是分工作簿。 |
 | 48 wxw752 2021-08-12 15:15:27 +08:00 easyexcel 导出 List<Map<String, Object>> 这种格式的 我昨天刚写完 |
 | 49 wxy1991 2021-08-12 19:18:20 +08:00 除了 easyexcel 还有个 eec，不用依赖 poi，效率比 easyexcel 还要高，不过你这很明显需求不合理，1000w 的 excel 我就不信有电脑能打开，我的破电脑打开个 500m 的 word 感觉就要卡死了 |
 | 50 someonedeng 2021-08-12 22:34:03 +08:00 真给他导出了，他怎么打开？ 能不能分成多个 excel 文件再打包 zip ？ |
 | 51 beginor 2021-08-13 07:53:01 +08:00 via Android 软件工程师，多动脑子，不是程序猿。 |
 | 52 dcncy 2021-08-13 08:11:18 +08:00 via iPhone 之前做过一个 700w+的数据导出，每一行 40 多列。 使用的是 easyExcel 导的，分多个 excel，多个 sheet，多线程跑效率能快点。 |
 | 53 janda 2021-08-13 16:30:18 +08:00 |
Select Language