Ollama 运行 Llama2 大模型,怎么友好的支持中文 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaohupro
V2EX    Local LLM

Ollama 运行 Llama2 大模型,怎么友好的支持中文

  •  
  •   xiaohupro 2024-03-20 09:39:15 +08:00 3224 次点击
    这是一个创建于 571 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大家在本地通过 ollama 运行 Llama2 大模型的时候如何友好的支持中文呢?我运行的时候默认都是英文回答,然后我用英文问它如何切换为中文它告诉我使用 llama2 -lang zh-CN 但是在交互式里面执行该指令后并没有效果,回答的时候还是英文,大家是怎么设置的呢?除了在问题前表明用中文回答这种方式

    第 1 条附言    2024-03-20 11:37:17 +08:00
    感谢 @vacuitym 的分享,我重新下载了 llama2-chinese 模型,它是在 llama2 的基础上进行了微调,目前符合我的需求
    13 条回复    2024-07-23 20:31:24 +08:00
    waityan
        1
    waityan  
       2024-03-20 09:44:13 +08:00
    ollama run yi
    idblife
        2
    idblife  
       2024-03-20 09:48:41 +08:00 via iPhone
    同问,qwen 和 yi 感觉和 mistral 差不少呢
    paopjian
        3
    paopjian  
       2024-03-20 09:50:59 +08:00
    llama2 没有用中文微调,虽然会说中文,但是回答肯定是英文优先,你找找有没有微调后的模型
    73cn4XL4Ufv3V65L
        4
    73cn4XL4Ufv3V65L  
       2024-03-20 09:55:30 +08:00
    op 用什么配置的机器跑的
    vacuitym
        5
    vacuitym  
       2024-03-20 09:58:39 +08:00   1
    ollama 上有个 llama2-chinese
    kaoshuiwan
        6
    kaoshuiwan  
       2024-03-20 09:59:54 +08:00
    llama2 对于中文支持就是不好(包括词表中缺少中文 tokens 、语料少),可以换个模型试试。
    xiaohupro
        7
    xiaohupro  
    OP
    nbsp;  2024-03-20 11:30:30 +08:00
    @leesin8848 我就是用一台笔记本,Thinkpad-P15v ,内存 16G ,我下载了 7B 版本的 llama2 测试,英文的表现还行。准备后面组一个机子试试
    xiaohupro
        8
    xiaohupro  
    OP
       2024-03-20 11:30:42 +08:00
    @vacuitym 嗯嗯,我试试
    uniqueman
        9
    uniqueman  
       2024-03-20 12:12:22 +08:00
    @huhailong1121 cpu 占用率怎么样的?一直在后台跑着吗
    unclemcz
        10
    unclemcz  
       2024-03-20 12:33:00 +08:00 via Android
    @uniqueman 纯 cpu 跑的话占用率接近 100%,只有执行的时候会这样,ollama 会一直在后台,基本无感,只有跑模型的时候会 100%这样子。
    xiaohupro
        11
    xiaohupro  
    OP
       2024-03-20 12:36:59 +08:00
    @uniqueman 我是在做测试,通过 ollama 的 API 接口调试前端,我自笔记本的话一开始还行,简单的问题响应速度可以接受,但是稍微复杂的问题就耗时间了,而且风扇呼呼的,如果是测试我觉得自己电脑就行,如果真要长时间用 serve 模式运行的话还是组装一台高配置的
    xiaohupro
        12
    xiaohupro  
    OP
       2024-03-20 12:38:23 +08:00
    @unclemcz 嗯嗯,是的,默认开机它就自己后台运行着,但是基本不消耗资源,我电脑除了 CPU 我看 GPU 占用也挺高,估计也用到了
    kangfenmao
        13
    kangfenmao  
       2024-07-23 20:31:24 +08:00
    设置一个 system prompt:使用中文回答,禁止使用英文
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2492 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 15:28 PVG 23:28 LAX 08:28 JFK 11:28
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86