这是一个创建于 247 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司打算部署个本地的 DeepSeek 671B 版本的需要什么硬件配置，有没有大佬告知下
 | 1 JetMac 247 天前 不懂，粗略算的话 1B1G 显存内存，流畅运行至少需要 700G 显存、内存？ |
 | 2 Chism 247 天前 via iPhone 油管有相关的节目，需要 10 个英伟达 5090 显卡或者 20 个 4090 |
 | 3 nicholasxuu 246 天前 便宜的话，有个压缩版的 671B ，192G 的 mac studio 能跑（ input token 要限制在 2000 以内，不然内存会炸）。 正常的话需要大概价值 200w 元的 h10 。 |
 | 4 blackmolycat 246 天前 有看过配置表，8 个 A100 |
 | 5 x1aoYao 246 天前 用 CPU 推理速度怎么样呢？成本应该比 GPU 低，毕竟内存比显存便宜。例如用 128 核的 EPYC 9755 CPU 加 1T 内存，不到 15 万 |
 | 7 mingtdlb 245 天前 @blackmolycat 配置表出处？ |
| 8 blackmolycat 242 天前 @mingtdlb 忘记出处了，但是你完全可以问 deepseek 自身啊，这种问题丢给 AI 全网搜索一下就得到答案了。 |
 | 9 slowgen 239 天前 什么并发要求？ https://x.com/carrigmat/status/1884244369907278106 6000 美元，用双路 epyc + 24 通道 ddr5 跑 q8 规格，6~8 token/s ，实际功耗不到 400w ，当然随着上下文越大每秒 token 数会下降，而且不出意外并发只有 1 。 然后最近又出了一个更多快好省的方案 KTransformers https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md https://www.reddit.com/r/LocalLLaMA/comments/1ilzcwm/671b_deepseekr1v3q4_on_a_single_machine_2_xeon/ 将闲置的专家从内存中卸载、将核心专家放入显存而边缘专家放入内存，和 23 年年底上海交大那个 PowerInfer 思路很像，充分利用 CPU 和 GPU 的资源，按照上面的 cpu 方案加几块卡就够了。 需求不急的话可以等一波，先用着各种供应商提供的 api （ together.ai 、fireworks.ai 等） |
Select Language