请问如何处理 CSV 文件

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2541 天前的主题，其中的信息可能已经有所发展或是发生改变。

我向服务端发送请求后返回了一堆数据，类似这样 {"Data":[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,4,4,4,4,4,4,4,36,58,42,50,38,78,86,28,48,36,4096,80]"

我的做法是：使用在线 json 转 csv 工具后，导出 csv，用 excel 打开时不能完全加载，因为有十几万列的数据。我的做法正确么？请问我该如何处理这些数据？

csv

请问

JSON

做法

21 条回复 2019-01-10 22:02:57 +08:00

Trim21

2019-01-10 01:12:20 +08:00

学一门编程语言, 然后直接处理这个数组

fzinfz

2019-01-10 01:16:56 +08:00 via Android

十几万列？多少行？列数超出 excel 最大值了

noqwerty

2019-01-10 02:52:09 +08:00 via Android

想说 pandas，但是十几万列也很吃力了

Mac

2019-01-10 02:58:50 +08:00 via Android

列？ excel 最大列数 16384，03 格式的最大 256

sinxccc

2019-01-10 03:06:00 +08:00

import 到 sqlite ？

不讲究的话 awk/sed/grep 三板斧说不定也行=_=

arYUWang

2019-01-10 04:55:30 +08:00

只是处理数据的话编程效率很慢的，学个 ETL 工具吧，最近公司要我探索 Talend Open Studio, 功能很强大，还免费

penisulaS

2019-01-10 07:56:42 +08:00

这种数据量的数据要么分文件分开处理,要么入数据库

insolo

2019-01-10 08:01:16 +08:00 via iPhone

Excel power pivot 可以了解下

lastpass

2019-01-10 08:14:00 +08:00

处理办法。
grammar CSV;

csvFile: hdr row+ ;
hdr : row ;

row : field (',' field)* '\r'? '\n' ;

field
: TEXT
| STRING
|
;

TEXT : ~[,\n\r"]+ ;
STRING : '"' ('""'|~'"')* '"' ;
这样你就几乎可以做关于 csv 的任何事了。
https://github.com/antlr/grammars-v4/blob/master/csv/CSV.g4

zzzhbooo

2019-01-10 08:48:07 +08:00

是十几万行还是十几万列。。。

codebear01

2019-01-10 08:50:23 +08:00

php -> fgetc explode

weixiangzhe

2019-01-10 08:50:49 +08:00 via iPhone

csv 的话后台转 json 能花几分钟，

randyo

2019-01-10 08:56:55 +08:00 via Android

var blob = new Blob(['\ufeff' + csv], {type: 'text/csv,charset='});

zhuawadao

2019-01-10 09:33:04 +08:00

EmEditor

pkoukk
2019-01-10 10:09:34 +08:00

你得说说你想怎么处理这些数据啊，如果只是你列出来的这种数据，十几万几百兆撑死了，直接随便拿门编程语言读这个 json 进内存开始撸就行了。
如果上 G 的话，就麻烦了，转成 csv 逐行读，然后写入库或者拆分
PS：十几万行的数据很常见，十几万列的数据？？？说实话我没听说过啥数据能有十几万列