有用 Mac 跑 deepseek 模型的么，效果怎么样，有坑没有

本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些，啪啪啪 think 了一堆，但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。

9g 内存跑 14b ，速度不行

M1 Max 64G 32b 速度可以用，70b 速度非常慢

@spike0100 32b 回答没问题

试了一下 7b ，不太行的感觉，还有混着英文来回答，估计要 14b 以上会好一点，不如 qwen2.5 的 7b

16G M1 Pro ，关掉所有 app 能跑 14B

128gb 内存跑 32b 中。

@windirt 速度如何，回答质量如何？

16G 的 M2 跑 7b ，错误挺多的，跑 14b 的话内存直接炸了，结果也没好到哪里去

与楼上不同，我 16G 的 M1 ，ollama 跑 14b ，速度不慢，内存占用 12G ，回答质量和速度都可以，问的是苏联和蒙古的历史问题，跟 ds 官网的答案差不多，没有明显减少字数。
就是 air 没风扇，输出的时候温度 88-90 度，输出完就降温了。

跑了 32b 的 4bit 量化的 mlx 版本，感觉挺好用~

@zeyangstudies 老哥你是啥配置？有比直接跑 7b 效果好吗？

@skylha 我的是 48g 的 M3 ，没试过 7b 的诶

@skylha 同关注

@spike0100 我也是，本地跑 1.5B 和 7B 都不太行，不如通义千问。官网的确实还可以的

m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服

蒸馏版 14b 在 16G m3 air 上跑问题不大
至于完全版的，真想在 mac 上跑的估计要这样
https://x.com/exolabs/status/1872444906851229814

@zeyangstudies 求个链接，谢谢

@0619 #3 配置一样，32b 和 70b 我都安装了，可以接受。ds 真的好很多，国内妥妥的第一，中文也比免费版的 chatgpt 强，付费版没有试过

话说。能跑是能跑，但是效果怎样？ 32gb m1pro 跑哪个规格的模型是能用好用的？

看有人用 8 个 mac mini 跑成功了

@hiiragiharunatsu 这个效果确实不如几百瓦功耗的 N 卡。m4 ultra 应该会好很多，目前 mac 的瓶颈卡在内存/显存带宽上。其他都是浮云

我想问下本地跑 deepseek 模型的意义是什么，回答质量也不高，纯为了玩儿吗

@SGL 隐私保护，也不是所有问题都要在线问

32b 起吧，14b 效果太差了，32b 也很慢，而且开了十几 G 内存没了，本身内存就捉急。。

@SGL 在线问三天打鱼两天晒网，服务器崩来崩去，真是无语，还是本地靠谱，讲真，有些问题本地比在线要来得好。

我是 36G 内存 一开始跑 70b 卡死……跑 32b 速度挺快的，但是挺弱智的。。。

@sheller 就在 modelscope 上搜 mlx deepseek r1 就行，一堆，然后用 xinference 来推理，chatbox 对话就可以~

@SGL 就是一般在断网环境下，例如某些加密网下搞工程，有个随时就问的大模型也挺好的

Mac mini m4 pro+48g ，跑的 14b ，速度很 OK 。模型放 nas 上了，万兆，nfs 协议。用着挺舒服。另外我的 Debian arm 虚拟机也放 nas 上了(玩玩 arm Linux)。

16G14B ，比较卡，且效果对比网页版有明显差距

我又测试了一下，ollama 跑 deepseek-r1:32b 9.72 tokens/s. 跑 14b 19.54 token/s 。

配置是 m4pro+48g 的 mini

M4 丐版跑的 14b ，挺流畅的，就是比较傻