阿里云 OSS 删除文件有多慢 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
admin268
V2EX    云计算

阿里云 OSS 删除文件有多慢

  •  
  •   admin268 2022-06-30 17:44:24 +08:00 4322 次点击
    这是一个创建于 1246 天前的主题,其中的信息可能已经有所发展或是发生改变。

    阿里云 oss,上传嗖嗖的,上次说的下载拉胯,下载 5TB ,流量费好几千,现在发现删除更要命,1 秒大约删除 1000 个文件,5TB 存的图片,每个图片 10kb ,510241024*1024 ,53687 万个文件,536870 秒,大约 6.2 天,如果是 500TB ,删除文件就需要 620 天,大约 2 年。。。

    删除方法(网页上点击根目录的一个文件夹,选择彻底删除,就是这么慢,其他方法没试过)

    8 条回复    2022-06-30 23:55:18 +08:00
    LeeReamond
        1
    LeeReamond  
       2022-06-30 17:49:02 +08:00
    我觉得你这个数据量需求也比较夸张,图片还要做到每秒 1000 的增删 io 已经挺快了。。
    Moker
        3
    Moker  
       2022-06-30 17:54:34 +08:00   1
    设置生命周期 自己删除
    jayin
        4
    jayin  
       2022-06-30 18:01:03 +08:00
    用 ossutils
    8520ccc
        5
    8520ccc  
       2022-06-30 18:23:32 +08:00
    肯定要用 API 啊
    nightwitch
        6
    nightwitch  
       2022-06-30 18:26:47 +08:00
    删除规则

    OSS 支持手动或者自动删除单个或多个文件,删除规则说明如下:

    手动删除
    删除单个文件

    您可以通过 OSS 控制台、命令行工具 ossutil 、SDK 、图形化管理工具 ossbrowser 的方式删除单个文件。
    删除多个文件

    通过 OSS 控制台一次最多可删除 100 个文件,通过 SDK 一次最多可删除 1000 个文件,通过命令行工具 ossutil 以及图形化管理工具 ossbrowser 一次最多可删除的文件个数无限制。
    自动删除

    如果需要删除的文件数目较多,且删除的文件有一定的规律,例如需要定期删除指定日期之前的文件,指定前缀的文件,又或者需要清空整个 Bucket 内的所有文件。此时,推荐您配置生命周期规则自动删除文件。生命周期规则配置完成后,OSS 会根据规则自动删除指定文件,从而减少您发送删除请求的次数,以提高删除效率。更多信息,请参见生命周期规则介绍。
    LoNeZ
        7
    LoNeZ  
       2022-06-30 18:48:23 +08:00
    问下 QPS 限制呗,看看能不能提高这个上限。
    wsseo
        8
    wsseo  
       2022-06-30 23:55:18 +08:00
    不要用页面操作,批量删除甚至会卡死
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1101 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 18:07 PVG 02:07 LAX 10:07 JFK 13:07
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86