现在算力过剩，瓶颈都是显存带宽和显存大小，搜了一圈，感觉就两个方案有些可行性
一是 qwen3 embedding 8b int8 ，给本地知识库做向量化，结合云端 API ，应该能省一些 tokens ，配置的话，16G 显存的 N 卡都大差不差，或者 Apple M4 + 32G ？想试试给 claude code 加个 local embedding mcp
从这个角度讲，M4+32G 确实是个挺好的配置
二是买张魔改的 4090 48G ，可以跑 30b int8 或者 70b int4 ，可以用 QLoRA 调一下模型，玩玩 SillyTavern ？但看网评还是比云端 API 差太多，所以估计只有 刘备 玩家值得一试？
不知道 3 年后，国产 HBM+国产 GPU 能不能把大内存推理显卡的价格打下来……现在 Local LLM 还是不太行
一是 qwen3 embedding 8b int8 ，给本地知识库做向量化，结合云端 API ，应该能省一些 tokens ，配置的话，16G 显存的 N 卡都大差不差，或者 Apple M4 + 32G ？想试试给 claude code 加个 local embedding mcp
从这个角度讲，M4+32G 确实是个挺好的配置
二是买张魔改的 4090 48G ，可以跑 30b int8 或者 70b int4 ，可以用 QLoRA 调一下模型，玩玩 SillyTavern ？但看网评还是比云端 API 差太多，所以估计只有 刘备 玩家值得一试？
不知道 3 年后，国产 HBM+国产 GPU 能不能把大内存推理显卡的价格打下来……现在 Local LLM 还是不太行
 | 1 ntedshen 3 月 16 日 bro 。。。你该睡觉了，不清醒了。。。 这个月的 intel 轻薄本人均 32g8533 的 lpd5 起步，64glpd5 的 camm2 条子三千块不到，你纠结个入门配置干啥。。。 |
 | 2 stinkytofux 3 月 16 日 即便 3 年后显卡价格被打下来了, 在家跑 local llm 的电费也不得了. |
 | 3 azhangbing 3 月 16 日 via iPhone 别想 local 了 m 系列芯片 prefill 极慢 提示词处理就很慢，上下文大了也 gg 太慢了，就算能跑 27b 又怎么样呢 ，9b 凑合用用 单主力任务也不敢交给他啊，还是要线上模型 codex claude 最差也要 glm5 MiniMax2.5 这些了 花钱也比买显卡 笔记本强 |
 | 4 Eleutherios OP @ntedshen 但是带宽也只有 128G/s 吧？ 13B 都不顺畅 @stinkytofux 只能期望 Apple 的低功耗芯片了 @azhangbing 确实，但我还是希望 Mac Mini 能跑个 8B 左右的 embedding 。 |
 | 5 BigTiger 3 月 16 日 家里 mini 跑的 qwen3.5 27b ，已经尝试一周 local coding 了，感觉良好，偶尔切换 codex 调试问题即可 |
 | 6 sairoa 3 月 16 日 我都 mba m4 32G ，跑 35b a3b 或者 27b 都没问题，27b 速度很慢不可用，35b 虽然推理很快但首 token 很慢，综合考量 4b 是最平衡的。虽然电脑里一直跟着更新模型，但实际上还真没用本地模型解决问题，只是幻想着什么时候没有网络会用…… |
 | 7 penisulaS 3 月 16 日 local LLM 只有自己用太不合算了,正如你所说,要么缺显存,补足显存算力又溢出太多 |
| 8 ntedshen 3 月 16 日 @Eleutherios 现时最强的核显也就是个 3060 算力，都区分不了带宽瓶颈还是算力瓶颈。。。 通常情况下核显的带宽瓶颈是很明显的，能卡到你鼠标不能动。。。 而且说真的现在硬件的基本盘依然是 8+256 ，去年就 v2 都还有人骂我是不是脑子有病在本地跑大模型的来着。。。 这才半年，早的很。。。 |
 | 9 coefu 3 月 16 日 有钱了还是得买 mac ultra ，省电，家用完全够了。 |
 | 10 oldlamp 3 月 18 日 楼主预算能够 RX580 么？ 好像用 RX580-2304sp 跑 omnicoder-9b 的 q4_k_m 量化版本 gguf （好像是 qwen3.5-9b 为基础弄的）都能有 14tokens/s： https://mp.weixin.qq.com/s/bM1ICbcVw7ENwvKl-7MpiQ qwen3.5-9b 好像能跟 gpt-oss 20b 掰掰手腕的，本地用估计一点简单场景可以试试。 |
| 11 Eleutherios OP @oldlamp 谢谢，我有块 4070ti s ，小模型还是能跑的，但这不是贪 int8 么 |
Select Language