这是一个创建于 651 天前的主题，其中的信息可能已经有所发展或是发生改变。
解压文件内容为： 第一行存放是表对应的名称，剩下的每行存放的是对应值。目前每个解压下来的文件有 1w 行数据，第 1 行存放表头，其他存放对应的数据。目前用的 java ，mybatis 做解析入库处理，每个文件要花费 4-5s 才能解析入库到 pg ，最坏的情况大概要 10s 之间
 | 1 blacklinux 2024 年 4 月 18 日 转换成 sql 语句执行 |
 | 2 sagaxu 2024 年 4 月 18 日 1. 批量插入 + 开启 pgsql 的 reWriteBatchedInserts ，单个文件控制在 1 秒左右 2. 使用多线程，不同的表并发插入 |
 | 3 luozic 2024 年 4 月 18 日 分成 3 部分：1.解压读取 解析 csv 2.批处理 3.入库 用火焰图和时序看一下是哪部分慢呗。 插入 pg 批处理肯定没这么慢（ pg 的 IO 没那么差的情况下） |
 | 4 lolizeppelin 2024 年 4 月 18 日 pg 直接 copy csv 啊,为什么转 sql |
 | 5 xingzi10000 OP ok,谢谢各位，我先试试看 |
 | 6 HOMO114514 2024 年 4 月 18 日 COPY 语句直接干 |
 | 7 catamaran &nbs; 2024 年 4 月 18 日 mysql 可以直接导 csv ，pg 不行？ |
 | 8 yjhatfdu2 2024 年 4 月 18 日 find . -name '*.csv.gz' | xargs -I {} -P 4 bash -c "gzcat {} | psql -c 'copy test from stdin csv header'" P 是并发，可以开高点 |
 | 9 cloverzrg2 2024 年 4 月 19 日 下载了什么社工库吗 |
Select Language