web 里上传文件 4mb 可以, 5mb 只能等超时是啥问题; - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
FenixVu
V2EX    Web Dev

web 里上传文件 4mb 可以, 5mb 只能等超时是啥问题;

  •  
  •   FenixVu 2024-05-14 17:57:39 +08:00 2935 次点击
    这是一个创建于 515 天前的主题,其中的信息可能已经有所发展或是发生改变。

    nginx 限制的大小是 200mb 超时是 1 分钟 掉后端 python 的 api 上传到 minio 里面 现在的情况是上传 4mb 的可以,5mb 就不能,1 分钟后自动返回 504 (无论走域名还是直接 ip+端口) 后端 python 手敲代码上传多少 mb 都可以传 这问题出在哪?

    第 1 条附言    2024-05-14 18:40:03 +08:00
    都是 txt 格式
    7 条回复    2024-05-15 18:53:32 +08:00
    wOuv7i4e7XxsSOR1
        1
    wOuv7i4e7XxsSOR1  
       2024-05-14 18:46:34 +08:00
    那就是 nginx 配置有问题呗
    FenixVu
        2
    FenixVu  
    OP
       2024-05-14 18:50:42 +08:00
    @jdkxnktkdkxod 我走 ip+port 绕过 nginx 也不行
    ruoyun2333
        3
    ruoyun2333  
       2024-05-14 19:45:40 +08:00
    api 框架也有可能有超时设置
    Trim21
        4
    Trim21  
       2024-05-14 19:50:41 +08:00
    可能因为 minio 默认的 MIN_PART_SIZE 是 5MB ,你 5MB 的文件被分块上传了....
    Trim21
        5
    Trim21  
       2024-05-14 19:54:03 +08:00
    minio 的 sdk 会在文件比较大的时候自动分块上传,如果是 py sdk 的话还会自己开个线程池。
    如果是小文件,会直接 put_object 请求就完事。但如果文件比较大,触发了分块,就需要初始化+分块上传+结束分块上传。
    你这个例子里可能是从 1 次请求变成了 4 次请求,导致超时。
    luckyc
        6
    luckyc  
       2024-05-14 22:08:41 +08:00
    直接 presigned 上传到 minio 。不要先上传到后端再存到 minio 。浪费资源。
    looveh
        7
    looveh  
       2024-05-15 18:53:32 +08:00
    后端服务上传 minio 如果文件大于 5M 需要设置 contenttype 为 ostream 那个,不能使用 mutipart/form-data 。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2184 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 00:42 PVG 08:42 LAX 17:42 JFK 20:42
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86