这是一个创建于 2071 天前的主题，其中的信息可能已经有所发展或是发生改变。
用户会上传多个大文件（ 1GB 大小），，存在 txt，csv，excel 格式，不知道有什么好的办法入库，还需要判断表是否存在，不存在就去建表。入库的数据有添加和覆盖两个选项。入库后需要得到入库成功多少行失败多少行 很苦恼没啥好的解决办法
 | 1 1018ji 2020 年 8 月 11 日 1G 多，啥子需求，告辞 |
 | 2 gz911122 2020 年 8 月 11 日  1 不入库啊 为什么这种东西要入库? 存到对象存储不行么? |
 | 3 summerwar 2020 年 8 月 11 日 1G 多的 excel 文件吗 |
 | 4 wakzz 2020 年 8 月 11 日 大文件传到文件存储服务中（ FastDFS 、阿里 OSS 之类的）生成一个访问链接，然后把链接存到 mysql 中。 |
 | 5 lscexpress 2020 年 8 月 11 日 没看文档吗 mysql 就不适合大文件存储 |
 | 6 killergun 2020 年 8 月 11 日 1G 的 excel 这得有千万行数据了吧 |
 | 7 blackmirror 2020 年 8 月 11 日 这不是伪需求吗 |
 | 8 realpg PRO java 开发商业软件的一贯脑回路清奇 |
 | 9 xuanbg 2020 年 8 月 11 日 文件存 7 牛什么的，url 入库就行了 |
| 10 xuanbg 2020 年 8 月 11 日 或者把数据解析出来批量写入也行，整个文件入库怕是不太行。 |
 | 11 securityCoding 2020 年 8 月 11 日 @xuanbg 楼主应该不是这个意思的,应该是解析文件然后存储 |
 | 14 ccxml OP @lscexpress 这里是把大文件转换成表数据入库 |
| 17 ccxml OP @securityCoding 我搜到 loda data 这个命令可以实现我的需求 |
| 18 summerwar 2020 年 8 月 12 日 @ccxml 只是很少见到 1G 的 excel 文件，不会 java，只会 python，用 python 的话可以直接读取，然后第一行作为表头，每行数据与数据库进行对比，该覆盖覆盖，该新建了新建数据就是了 |
 | 19 robot1 2020 年 8 月 12 日 果然什么样的工程都有 脑回路清奇算是夸人了 |
 | 21 tibazq929 2020 年 8 月 12 日 用 oracle，lob 性能比文件系统还强 |
 | 22 b2byco 2020 年 8 月 21 日 kettle ？ |
Select Language