Ollama 运行 Llama2 大模型,怎么友好的支持中文 - V2EX
xiaohupro

Ollama 运行 Llama2 大模型,怎么友好的支持中文

  •  
  •   xiaohupro Mar 20, 2024 3978 views
    This topic created in 791 days ago, the information mentioned may be changed or developed.

    大家在本地通过 ollama 运行 Llama2 大模型的时候如何友好的支持中文呢?我运行的时候默认都是英文回答,然后我用英文问它如何切换为中文它告诉我使用 llama2 -lang zh-CN 但是我在交互式里面执行该指令后并没有效果,回答的时候还是英文,大家是怎么设置的呢?除了在问题前表明用中文回答这种方式

    Supplement 1    Mar 20, 2024
    感谢 @vacuitym 的分享,我重新下载了 llama2-chinese 模型,它是在 llama2 的基础上进行了微调,目前符合我的需求
    13 replies    2024-07-23 20:31:24 +08:00
    waityan
        1
    waityan  
       Mar 20, 2024
    ollama run yi
    idblife
        2
    idblife  
       Mar 20, 2024 via iPhne
    同问,qwen 和 yi 感觉和 mistral 差不少呢
    paopjian
        3
    paopjian  
       Mar 20, 2024
    llama2 没有用中文微调,虽然会说中文,但是回答肯定是英文优先,你找找有没有微调后的模型
    73cn4XL4Ufv3V65L
        4
    73cn4XL4Ufv3V65L  
       Mar 20, 2024
    op 用什么配置的机器跑的
    vacuitym
        5
    vacuitym  
       Mar 20, 2024   1
    ollama 上有个 llama2-chinese
    kaoshuiwan
        6
    kaoshuiwan  
       Mar 20, 2024
    llama2 对于中文支持就是不好(包括词表中缺少中文 tokens 、语料少),可以换个模型试试。
    xiaohupro
        7
    xiaohupro  
    OP
       Mar 20, 2024
    @leesin8848 我就是用一台笔记本,Thinkpad-P15v ,内存 16G ,我下载了 7B 版本的 llama2 测试,英文的表现还行。准备后面组一个机子试试
    xiaohupro
        8
    xiaohupro  
    OP
       Mar 20, 2024
    @vacuitym 嗯嗯,我试试
    uniqueman
        9
    uniqueman  
       Mar 20, 2024
    @huhailong1121 cpu 占用率怎么样的?一直在后台跑着吗
    unclemcz
        10
    unclemcz  
       Mar 20, 2024 via Android
    @uniqueman 纯 cpu 跑的话占用率接近 100%,只有执行的时候会这样,ollama 会一直在后台,基本无感,只有跑模型的时候会 100%这样子。
    xiaohupro
        11
    xiaohupro  
    OP
       Mar 20, 2024
    @uniqueman 我是在做测试,通过 ollama 的 API 接口调试前端,我自笔记本的话一开始还行,简单的问题响应速度可以接受,但是稍微复杂的问题就耗时间了,而且风扇呼呼的,如果是测试我觉得自己电脑就行,如果真要长时间用 serve 模式运行的话还是组装一台高配置的
    xiaohupro
        12
    xiaohupro  
    OP
       Mar 20, 2024
    @unclemcz 嗯嗯,是的,默认开机它就自己后台运行着,但是基本不消耗资源,我电脑除了 CPU 我看 GPU 占用也挺高,估计也用到了
    kangfenmao
        13
    kangfenmao  
       Jul 23, 2024
    设置一个 system prompt:使用中文回答,禁止使用英文
    About     Help     Advertise     Blog     API     FAQ     Solana     5199 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 76ms UTC 07:47 PVG 15:47 LAX 00:47 JFK 03:47
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86