如何优化远程获取请求数据过大造成服务器报错的问题? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MrMike
V2EX    PHP

如何优化远程获取请求数据过大造成服务器报错的问题?

  •  
  •   MrMike 2020-04-23 01:40:16 +08:00 3505 次点击
    这是一个创建于 2047 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为项目需要,需要从本地提交数据到远程服务器上,然后远程服务器对提交的数据对比后,再返回数据给本地,本地再存储到数据库中。

    本地环境是 Linux + Nginx 1.6 + MySQL 5.6 + PHP 7.3 。 本地每次提交的数据有几百条数据,远程服务器对请求的数据长度有要求,本地需要提交的数据每一条数据都超过了远程的数据长度要求,所以目前只能一条条的发送请求,一旦请求的次数过多( 5 条),本地服务器就会报 502 错误。

    请教下怎么优化这个数据提交的流程呢?远程服务器因为有其他项目在运行,不能修改其配置,只能本地去配合远程进行优化。

    12 条回复    2020-04-26 09:18:27 +08:00
    luckyrayyy
        1
    luckyrayyy  
       2020-04-23 01:48:42 +08:00
    做这么一个限制还不让改也太睿智了.....
    首先,先确定你的方向没有问题,有其他项目在运行也不等于不能动吧。
    另外,如果确定只能用现在的方案,那没很大优化空间,你试出来最大长度,然后一次一次来呗。要是只对单次长度做了限制而服务器负载压力很小,就在前端做个异步,直接几十个请求过去。
    tanranran
        2
    tanranran  
       2020-04-23 01:50:10 +08:00
    压缩数据,然后 POST 上传给服务器
    mingl0280
        3
    mingl0280  
       2020-04-23 04:41:26 +08:00 via Android
    手写个 websocket 传呗……
    xuanbg
        4
    xuanbg  
       2020-04-23 06:09:30 +08:00
    这不是 hash 算法大干快上的时候么?客户端算一个哈希上传,服务端也算一个哈希出来比对就行了呀。只是需要注意双方计算哈希的时候,对象序列化后属性的顺序可能不一致的问题。
    kaiki
        5
    kaiki  
       2020-04-23 06:36:12 +08:00
    服务端不能动只能客户端用队列了
    MrMike
        6
    MrMike  
    OP
       2020-04-23 07:18:18 +08:00
    @luckyrayyy 目前已经是以最大的值进行请求了的
    MrMike
        7
    MrMike  
    OP
       2020-04-23 07:18:48 +08:00
    @kaiki
    @mingl0280 谢谢,试试。
    brader
        8
    brader  
       2020-04-23 10:33:25 +08:00
    如果服务端完全不能动的话,那你客户端可以做 2 个事情:
    brader
        9
    brader  
       2020-04-23 10:34:57 +08:00
    1:限制请求频率(通过定时器)
    2:单次请求利用最大化,每次打包请求的时候,尽可能多的打包几条数据,比如:服务端上限是 1000 字符,那你客户端,看下在 1000 字符以内,尽量装多几条数据,可以提高效率
    dongisking
        10
    dongisking  
       2020-04-23 13:17:28 +08:00 via Android
    定时器一秒请求一次咯?
    tabris17
        11
    tabris17  
       2020-04-23 13:21:29 +08:00
    异步处理啊
    MrMike
        12
    MrMike  
    OP
       2020-04-26 09:18:27 +08:00
    问题解决了,用异步处理了。谢谢各位大佬的帮助,结贴。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2562 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 07:40 PVG 15:40 LAX 23:40 JFK 02:40
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86