这是一个创建于 358 天前的主题，其中的信息可能已经有所发展或是发生改变。
本地 4xV100 平台部署 Qwen2.5 72B GPT-Q int4 ，命令如下：
lmdeploy serve api_server ./Qwen2.5-72B-Instruct-GPTQ-Int4 --cache-max-entry-count 0.4 --model-format gptq --tp 4在 CodeGeeX 插件中启用本地模型，配置自定义提示词：
- 聊天 Prompt
You are Qwen, created by Alibaba Cloud. You are a helpful assistant. You are profound in coding. - 代码补全 Prompt
我会给你我的代码片段，结构如下<|code_prefix|>：光标前的代码 <|code_middle|>：你需要在这后面预测光标处的代码 <|code_suffix|>：光标后的代码 你需要根据光标前后的代码给我中间的代码；不要废话，不要输出 code_suffix 、code_prefix 、code_middle ；不要将代码放在代码块内；只输出纯代码 生成速度能到 80 tps ，补全几乎无延迟，实际使用体验代码能力和 Deepseek api 不相上下，但是响应速度快三到四倍。
目前的痛点在于 CodeGeeX 本地模式不支持直接引用文件，想问问有推荐的 vscode 插件吗？
 | 1 kizunai 358 天前 Qwen2.5 72B 比 Qwen2.5 Coder 32B 在代码补全上面提升大吗？ |
 | 3 otakustay 358 天前  3 连本地模型最好的办法就是 continue： https://docs.continue.dev/autocomplete/model-setup |
 | 4 BernieDu 358 天前 @Leon6868 基础模型和 coder 模型 比参数量没意义。两个我都用过，反正我觉得对于我 swiftUI 的编程帮助不大。可能我用惯了基于 claude 的 AI IDE ，觉得这些本地模型就跟过家家一样 |
 | 5 so1n 358 天前 内存买小了，跑不了 72- - |
 | 6 Donaldo 358 天前 本地 4xV100 有点猛了。。 |
 | 7 cyio 358 天前 有没有最安全的联网模型，明确不记录代码、用于训练的 |
 | 8 sampeng 358 天前 via iPhone 日常使用连 deepssek 肉眼可见没 copilot 好用，十次有 6 次是错误的。 |
 | 10 574402766 358 天前 昨天用 continue+ollama 布了个 Qwen2.5-Coder-7B 补全挺快不过还没深入用不确定质量如何 明天上班打算试试 32B |
 | 12 Removable 358 天前 via iPhone 72B 要多少内存啊？ |
| 13 otakustay 358 天前 @zhixiao 那可多了，一个是 napi 要用就是一堆基础文件，然后还自带了个 all-minilm 模型，要做 embedding 又放了个 lancedb ，代码解析又带了 tree-sitter 要纯本地就是这个代价，没有任何远程的服务能给你什么语法分析什么 embedding 存储，那只能所有功能占本地硬盘了呗 |
 | 14 b1t 358 天前 4xV100 ？ 羡慕 |
 | 15 pakro888 358 天前 好奢侈。慕了 |
Select Language