ChatGPT 的回复太慢了有啥办法可以加快吗 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
podel
V2EX    OpenAI

ChatGPT 的回复太慢了有啥办法可以加快吗

  •  
  •   podel 2022-12-12 17:19:50 +08:00 12314 次点击
    这是一个创建于 1081 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题。 chatgpt 回复的时候那个打字框贼慢贼慢。长回答的时候看得都要急死了。 后台应该数据早就一次性就返回了。 有什么油猴脚本之类得能够加快回答得回复显示得速度吗?

    第 1 条附言    2022-12-13 09:16:0 +08:00
    结帖: 是 POST 请求长连接返回的。没办法一次性返回结果。
    并且最近几天米国的 /我这边 IPLC 线路都不稳会出现 network error
    22 条回复    2022-12-18 14:44:44 +08:00
    zhoufenfens
        1
    zhoufenfens  
       2022-12-12 17:24:45 +08:00
    它应该是保持着一个长连接吧,不是一次性返回然后逐字渲染。
    bluedawn
        2
    bluedawn  
       2022-12-12 17:25:25 +08:00 via iPhone
    似乎是这两天才这样的,原因不知道,可以试试 GitHub 大佬做的相关项目
    podel
        3
    podel  
    OP
       2022-12-12 17:25:39 +08:00
    没错。采用得是长 POST 回复信息得。 而不是一次性回复信息。
    所以必须保持 长得稳定得连接才行。没办法加快
    lookStupiToForce
        4
    lookStupiToForce  
       2022-12-12 17:26:14 +08:00
    应该不是“后台应该数据早就一次性就返回了”
    有些回答会中断停留很长时间,有时候甚至会直接回答一半直接挂掉
    mxT52CRuqR6o5
        5
    mxT52CRuqR6o5  
       2022-12-12 17:36:24 +08:00
    @lookStupiToForce 我也觉得 chatgpt 的一个字一个字蹦出来的设计是受限于模型设计的,OP 认为『后台应该数据早就一次性就返回了』有点太想当然了
    podel
        6
    podel  
    OP
       2022-12-12 17:45:00 +08:00
    @mxT52CRuqR6o5 就算不行也应该 先把数据准备好。 然后一次性返回。 长 POST 真的太难稳定了。
    Garalt
        7
    Garalt  
       2022-12-12 17:55:21 +08:00
    用英语比中文快,个人体验
    me221
        8
    me221  
       2022-12-12 19:40:47 +08:00
    有没有可能是你国不稳定
    systemcall
        9
    systemcall  
       2022-12-12 22:22:42 +08:00
    VPN 太烂了吧,换个好点的就会快不少
    x52S60GIsMZHtJPN
        10
    x52S60GIsMZHtJPN  
       2022-12-12 23:14:29 +08:00 via iPhone
    @me221 不是,我在海外这几天照样很慢,还容易跳 network error ,前几天没这样
    zhuweiyou
        11
    zhuweiyou  
       2022-12-13 00:01:03 +08:00
    长连接持续返回的,并不是一次返回
    Shosuke
        12
    Shosuke  
       2022-12-13 00:17:12 +08:00 via iPhone
    它好像最近的人类道德观念非常强烈
    netabare
        13
    netabare  
       2022-12-13 01:22:19 +08:00   1
    一个字一个字返回这个应该是最近增加的 throttling ,之前是一段一段话返回的,估计没有任何办法加快。
    rpman
        14
    rpman  
       2022-12-13 02:34:25 +08:00 via iPhone
    这种序列 decoding 模型 streaming 其实是一种优化
    因为完整解码就要这么多时间。他只是把中间结果也展示了。
    needpp
        15
    needpp  
       2022-12-13 08:03:00 +08:00
    ![image]( http://tvax1.sinaimg.cn/large/63211452gy1h91uvhz4k4j21dg0o47wh.jpg)


    顺带问一下,我想知道这种分段的数据前端怎么接收的?
    summer2019
        16
    summer2019  
       2022-12-13 08:12:59 +08:00 via iPhone
    @needpp event stream
    Tink
        17
    Tink  
    PRO
       2022-12-13 08:25:21 +08:00 via Android
    他在组织语言
    Ocean810975
        18
    Ocean810975  
       2022-12-13 08:25:51 +08:00 via Android
    @ViolaH 话说是不是因为不在美国?你要在美国当我没说
    eggsblue
        19
    eggsblue  
       2022-12-13 08:47:50 +08:00
    作为一个人,你也需要组织语言来交流
    neptuno
        20
    neptuno  
       2022-12-13 08:49:28 +08:00 via iPhone
    人也是这样说话呀,问完问题,去做点其他事情,就跟微信聊天一样。
    ZztGqk
        21
    ZztGqk  
       2022-12-13 12:13:33 +08:00 via iPhone
    用的 decoder ,现在还是无法并行输出的。
    wong2
        22
    wong2  
       2022-12-18 14:44:44 +08:00
    Server Sent Event 当然最终是原理限制的
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4432 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 01:05 PVG 09:05 LAX 17:05 JFK 20:05
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86