qwen3.5 过度思考的问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cat9life
V2EX    Local LLM

qwen3.5 过度思考的问题

  •  
  •   cat9life 18 天前 821 次点击
    看到阿里新的小模型发布,小模型支持多模态,忍不住在自己电脑(集成 GPU )上试了一下 qwen3.5:4b 。

    结果:
    我说了一句 Hi ,他思考了 40 秒!!
    而关闭思考之后,好像也不比上一代 qwen3 强。

    还有一个小花絮:
    我问他是谁,它思维链里面打印是 Google 的模型。马上又修正“wait , 我是阿里 xxxxx”。加上之前说的 sonet4.6 是 deekseek ,Gemini 是 qwen 。真是天下模型你中有我我中有你啊。
    10 条回复    2026-03-06 17:38:40 +08:00
    coefu
        1
    coefu  
       17 天前   1
    我昨天也跑了一下。我发现这个 4b 确实很好了。在 tuning 架构的卡 gddr6 的位宽下,能跑 40+ T/s ,主要是回复体现的智力中规中矩。辅以外挂 rag+mem+network 的话,还是很顶的。主要是可以在几乎完全平价的资源下,跑出来一定的效果。这还要什么自行车?

    x99 贴牌新板( 150+)+ xeon e5 14core/2thread(70+) + ddr4 16g*2 (200+,前年买的库存) + 五手矿 p106(150+,前年的价格,现在估计对半) 6g+ CMP 40HX(300+ ,前年的价格现在估计对半)8g ,1000 以内的成本,几乎tokens ,还有一定的准确性和实时性。垃圾佬的胜利。
    cat9life
        2
    cat9life  
    OP
       17 天前
    @coefu #1 智商还能接受,可以跑在电脑作为离线的备用。思考时间过长这个问题有解吗?
    coefu
        3
    coefu  
       17 天前
    @cat9life 我昨天一天的测试,都没有出现思考时间过长,思考+回答,几乎都在 2~3s 完成,非常快了。所以我觉得,夯爆了。准备加上 rag+network 试一下 质量效果。专业性和准确度完全可以靠 rag 来兜底的,实时性就靠 network 了。rag 里的最重要的就是 ocr 和 rerank ,搞好这两点,还是能打的。
    jifengg
        4
    jifengg  
       17 天前
    我选择的是关闭思考模式
    cat9life
        5
    cat9life  
    OP
       17 天前
    @coefu #3 谢谢。为啥我的思考时间这么久. 难道是 gpu 太弱..
    cat9life
        6
    cat9life  
    OP
       17 天前
    @jifengg #4 关闭思考能感觉到智力下降。大佬用在什么场景?
    jifengg
        7
    jifengg  
       17 天前   1
    @cat9life NSFW ,哈哈
    coefu
        8
    coefu  
       17 天前   1
    @cat9life #5 我刚才加上了 open-webui ,然后在里面让它读网页 URL ,确实耗时一点,但是真能读。并且内容分析的还可以,中规中矩,没有胡说八道。确实很夯了。
    coefu
        9
    coefu  
       17 天前
    @cat9life #5 你集成的 gpu tensor core 和 gmem bandwidth ,肯定其中有一个是瓶颈,或者两个都是。
    lchynn
        10
    lchynn  
       16 天前
    @cat9life 可能你用的是 ollama 推理的 Q4 量化版本; 如果你找个稍微好点的 GPU ,推推满血版或者 FP8 的,换 Sglang 框架,或许会好一些?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2687 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 09:54 PVG 17:54 LAX 02:54 JFK 05:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86