V2EX raywong 的所有回复 第 1 页 / 共 2 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    raywong    全部回复第 1 页 / 共 2 页
回复总数  22
1  2  
2024-05-30 10:39:14 +08:00
回复了 RedBeanIce 创建的主题 数据库 搭建 [物联网] 数据中台
自建投入生产使用过一段时间的 TD ,当时使用的版本是 3.0.2.x ,碰到过好几个问题:
1. 乱序、重复写入数据会导致性能下降
2. 业务上是在 TD 的子表查询,某些子表出现过以下问题:
- 由于数据涉及到更新(覆盖写入),导致数据无法查询最新状态
- 查询总数量 COUNT(*) 失败
3. 3 个节点的集群出现过宕机,集群无法恢复工作
4. 数据设置了 TTL 后只是逻辑删除,数据还是保留在磁盘上,需要手动执行命令才会清空磁盘

-----------------------------

以上问题目前最新版本可能已经修复了(未关注)。由于是自建集群,碰到问题后只能升级版本解决,但是线上环境升级数据库是个风险很大的操作,而且不可能每次一有问题就升级版本,折腾了一段时间最后还是停用了 TD 。
选择什么数据库要考虑数据类型、数据量、数据写入、查询方式以及运维成本,如果 OP 想要自建,考虑好遇到问题要怎么升级版本。
2023-03-01 16:12:11 +08:00
回复了 rapperx2 创建的主题 问与答 求友们帮助,每天亿级数据怎么储存
楼主后续选了什么方案,遇到相似的场景,方便加个 qq 么。base64: MTU1MjkzNzAwMA==
2020-10-26 10:23:34 +08:00
回复了 kmdd33 创建的主题 广州 echo ("广州程序员内推找工作 wechat 群");
求拉,感谢:MTU1MjkzNzAwMA==
2019-10-18 10:40:55 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@Reficul 嗯 谢谢,在这之前没想到网络传输的问题,单纯地想并发写入磁盘就会变快(太年轻了...)
2019-10-18 10:03:37 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@flyingghost 感谢老哥回复那么多。

一开始确实没考虑那么多,只是想开多个协程看看能不能将多个文件并发写入磁盘,从而加快速度(单 client ),没想到多个 client 上传的场景(项目都是一些小服务,并发很小,所以没考虑到多个 client 的情况)

要是有 n 个 client 上传 m 个文件的话,传输失败率的确得考虑,好像听说有遇到这样的事(不是我负责的服务),要是采用多文件分开多个链接传输的方式的话,客户应该不怎么会接受吧?毕竟还是想要“方便”...

使用 MultipartForm 的原因是文件也不大,还要求可以多文件上传(貌似写入缓冲会提升速度?)。
2019-10-17 13:29:36 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@encro 明白了,就像 7 楼说的写入到不同的磁盘会提升速度那样。所以这里的瓶颈就是在于磁盘,不是开多几个线程就能解决的,多谢~
2019-10-17 11:43:17 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@zhshch 所以说时间大部分都是消耗在传输上了,如果忽略传输时间,那么开多个线程对磁盘写入会提升速度吗?
2019-10-17 11:35:03 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@reus 好的,多谢
2019-10-17 11:14:41 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@reus 所以意思是说时间大部分都是消耗在传输上,文件越多传输得也自然就越慢了。还有一个问题就是这里确实是并发将文件写入磁盘了吗(忽略传输时间)?换句话说开不开 goroutine 对磁盘写入有没有影响。
2019-10-17 10:15:21 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@encro 明白了 谢谢。
2019-10-17 09:53:48 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@reus 可能会限制一下一次性能上传多少个文件。虽然是顺序传输到服务器,服务器不是拿到全部文件后再写入磁盘的?
2019-10-17 09:51:15 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@encro 这里 disk I/O 的影响,也就是说还是要一个个排队写入 disk 么?
2019-10-17 09:46:57 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@Reficul 是一个个排队发送的原因吗,后台不是拿到全部文件后再写入磁盘的?
2019-10-16 19:24:01 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
2019-10-16 19:20:42 +08:00
回复了 raywong 创建的主题 Go 编程语言 请教 Go 并发上传多个文件问题
@lbp0200 在本地测试的,一样结果
2019-09-20 15:18:50 +08:00
回复了 raywong 创建的主题 Go 编程语言 Gin 的路由问题,路由不匹配
@Hanggi
@ChristopherWu
@Carseason
@guonaihong
谢谢大家,问题解决了,是由于我用了 301 重定向导致的。改了一下貌似没问题了
2019-09-20 15:06:47 +08:00
回复了 raywong 创建的主题 Go 编程语言 Gin 的路由问题,路由不匹配
@lanjz 看了一下确实是用了 301(没有改回来)。现在改了一下好像可以了。感谢
2019-09-20 14:35:01 +08:00
回复了 raywong 创建的主题 Go 编程语言 Gin 的路由问题,路由不匹配
@lanjz 清完缓存又是正常的,不会出现路由问题,但是不能每次都 Disable cache 吧...
2019-09-20 14:12:34 +08:00
回复了 raywong 创建的主题 Go 编程语言 Gin 的路由问题,路由不匹配
@lanjz 用了 307,301 也试过了,跟重定向有关系吗
1  2  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1135 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 20ms UTC 18:00 PVG 02:00 LAX 11:00 JFK 14:00
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86