碎碎念：什么时候硬件+llm 的发展能让码农像部署 nas 一样部署一个家用 llm

现在就可以啊。mac studio m3 ultra 四台联机，2T 内存，轻松部署 kimi k2.5 ，你要是日常用的话 mac mini 部署个小模型就行了

完全有可能, 而且这个需求会被极大的推动. 因为不想数据泄露, 不管是个人还是公司, 都有私有部署大模型的需求.

@sagnitude #1 我觉得主要还得等小模型的性能上来了以后才行吧。现在小模型的性能有点一言难尽。大模型本地部署的话算力需求又太高了

顶尖模型需要非常高的成本来训练
如果顶尖模型开源，谁来付高昂的训练费用
没有资金的支持，模型怎么保持在顶尖位置
得等到了模型瓶颈期了，很难提高了，没有发展了，泡沫破裂了，大批公司倒闭了，那有机会。

顺便一提，家用 NAS 是一种成本很低的东西。不追求产量低的精致成品 NAS ，只是随便搭一下的话，弄台旧电脑装个系统就起来了，笔记本插 USB 硬盘也不是不行。
自建小型 LLM 设备那就是用很大的初期投入换很低的性能或质量。
现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。
差不多相当于一个 Gemini 3.0 Flash 的水平，但后者现在的运行速度是本地部署的 10 倍以上了。

恐怕得十年起步

把模型刻在内存里，把模型推理结构刻到芯片里，已经有了

现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。
家用 NAS 的 AMD CPU 怎么能跑得起来 70-120B 的模型呢？
我笔记本 GTX 1060 6GB 独立显存，40GB RAM ，ollama 本地跑 8b 的模型都勉强啊，只能说能用。速度明显感觉卡慢

@yukinotech 专用硬件?相当于一个固化版本的本地大模型? 如果价格足够便宜确实是值得考虑的.

@yukinotech 这个好像有缺陷，无法升级，只能不停的买新的硬件

直接调接口就行了，何必非得本地运行模型。 如果你担心隐私，找个不要你隐私的，比如 cloudflare

这么说吧，80 年前第一台计算机有差不多 4 个教室大，而当时的计算机甚至还不能玩贪吃蛇和扫雷。照这么看还是有盼头的。

或许 ai 更像电力，我们没必要每个人都开一个发电厂。

nas 的普及得益于 前几年存储的白菜价 以及监管的铁拳。 要是能把国产芯片的算力匹敌英伟达 a 再加上 llm 被限制到全是敏感词 那铁定 llm paas 产品大兴