Meta 发布了 llama3.2,我试了一下 ollama 版本,发现这是假的 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
winglight2016
V2EX    Local LLM

Meta 发布了 llama3.2,我试了一下 ollama 版本,发现这是假的

  •  
  •   winglight2016 2024-09-27 09:36:20 +08:00 2388 次点击
    这是一个创建于 453 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://imgur.com/a/MuyiVFa

    怎么想 meta 都不至于出现这种低级问题,大概只可能是 ollama 的问题

    第 1 条附言    2024-09-27 10:24:36 +08:00
    imgur 的图经常访问不了,大家有兴趣可以尝试比较本地 ollama 和 groq 上相同版本的 llama3.1/3.2 的回复,另外,英文的确是基本准确的
    第 2 条附言    2024-09-27 11:25:49 +08:00
    再补充一下:刚才的本地运行是 Mac 环境,换到 Windows 后,无论中英文都可以正常回答难道 mac 版本有啥不一样?
    14 条回复
    jifengg
        1
    jifengg  
       2024-09-27 09:45:05 +08:00
    图片看不了。
    怎么发现是假的?
    paopjian
        2
    paopjian  
       2024-09-27 09:54:42 +08:00
    不是,靠问问题问他版本???
    winglight2016
        3
    winglight2016  
    OP
       2024-09-27 09:57:21 +08:00
    @jifengg imgur 免费版太容易超请求数了

    其实就问了两个问题:1. 你是谁; 2. 你的版本是什么

    中文提问,3.1 和 3.2 的回答都是 chatgpt/openai

    英文提问,基本答对了,但是版本是 llama2.0
    winglight2016
        4
    winglight2016  
    OP
       2024-09-27 09:58:04 +08:00
    @paopjian 对于 chat ai ,你还有其他方式吗?
    kaichen
        5
    kaichen  
    PRO
       2024-09-27 09:59:15 +08:00
    你问大部分的模型,都会说自己是 chatgpt ,因为大部分厂商都拿 chatgpt 来合成训练数据,用来训练自己的模型。

    这不是判断模型真假的标准。
    jifengg
        6
    jifengg  
       2024-09-27 10:18:24 +08:00
    https://ollama.com/library/qwen2.5/blobs/66b9ea09bd5b

    像 qwen ,会内置一个 system 文件告诉他自己是谁。
    llama 系列的都没有这个内置 prompts ,问是谁都会随机回答。我的 llama 还说它是 bing 呢
    bluehr
        7
    bluehr  
       2024-09-27 10:18:37 +08:00
    问它是问不出来正确版本的,不信你可以试一试其他方式部署的
    yianing
        8
    yianing  
       2024-09-27 10:19:03 +08:00
    ollama 上面的是 3B 版本的吧,性能很弱的
    winglight2016
        9
    winglight2016  
    OP
       2024-09-27 10:22:27 +08:00
    @kaichen
    @jifengg
    @bluehr
    @yianing
    并不是呀,我在 groq 上的 llama3.1/3.2 ,3B/11B/70B 都试了同样问题,全部回答正确,只有一个版本有点答非所问,但是追问后是正确的。
    laooong
        10
    laooong  
       2024-09-27 10:32:14 +08:00
    5 楼回答已经可以解释你的问题了。
    “这不是判断模型真假的标准。”
    不用纠结的。
    Qwen2.5 也被人测出来会说自己是 chatgpt 、sonnet 乃至其他的,gemini 此前也被人测出来说自己是文心一言。
    winglight2016
        11
    winglight2016  
    OP
       2024-09-27 11:25:18 +08:00
    再补充一下:刚才的本地运行是 Mac 环境,换到 Windows 后,无论中英文都可以正常回答难道 mac 版本有啥不一样?
    myxingkong
        12
    myxingkong  
       2024-09-27 11:30:43 +08:00
    Ollama 的默认模型基本都是量化过后的,而 Groq 模型是未量化的。另外,temperature 也会影响模型的回答。

    ```shell
    $ ollama run llama3.2
    >>> /set parameter temperature 0.0
    ```
    winglight2016
        13
    winglight2016  
    OP
       2024-09-27 11:43:41 +08:00
    @myxingkong 的确,环境/设置因素都可能影响回答,不过我测试时都是用了默认设置,方便对比。
    yuting0501
        14
    yuting0501  
       2024-09-28 21:34:16 +08:00 via iPhone
    llama 的中文实在太差了,训练数据来源可能非常有限。可以试试用英文再问一次。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1532 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 16:35 PVG 00:35 LAX 08:35 JFK 11:35
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86