这是一个创建于 415 天前的主题，其中的信息可能已经有所发展或是发生改变。
AI 已经相当成熟了，至少画图方面，我走了一遍流程，基本可以落地应用了。
但不乏还是有不少人需要自建，姑且不说自建需要很多硬件资源，部署，调试，以及更新，也不是一劳永逸的事情。其次还涉及不少构架设计方面的专业知识，比如分布式，GPU 资源分配释放调度，还有很多监控，自动运维等。需要不少精力和时间，金钱投入一次性也不低，就算模拟构建拿古董机来，转入生产也有不少意外发生。尽职测试也得花一些周期。
所以为什么还有人跑本地？仅仅是为了方便？
大多数都有套壳的服务，需要直接生产的，基本也没问题。 其次也有很多可以自行上传大模型的，也可以让你自己训练。
不光不需要解决硬件这块问题，连软件问题很多也能自动帮你更新试错，成本也压的很低了，不少还有免费额度能做基础测试。如果真要自己跑，也可以云端大模型，比自己买 4090 甚至禁运的显卡也能用到。大平台郡能做到 pay as you go ，所以本地跑大模型再次觉得是一件没有意义的事情。毕竟第一本地你不是实验室或者机房，就没办法获得更多硬件资源，光硬件成本就很高，其次生成速度也会打折，并没有云端加钱就能解决来的高效。
我想很多人会在云端跑大模型，但还是看到很多很多人误导大家教大家在本地搭建进行训练。是不是有点误人子弟？
 | 1 frankyzf 2024-11-04 20:25:14 +08:00 部署到本地很大一部分是因为数据安全，没法在云上泡。数据脱敏成本太高。 |
 | 3 jhytxy 2024-11-04 20:33:38 +08:00 很多人的数据就不能出内网 不自建咋办 |
 | 6 xing7673 2024-11-04 22:16:34 +08:00 可用性 数据安全 省 api 钱，可以做各种实验而不用担心 token 高额消费 灵活，比如小模型能解决的事情就不需要大模型输出费时间了 学习搭建，形成个性化的使用方案 掌控感 etc |
 | 7 cmdOptionKana 2024-11-04 22:20:48 +08:00 比如尺度比大的成人内容，用别人的服务总觉得不安心 |
 | 8 maolon 2024-11-04 22:26:35 +08:00 via Android 就是有些不方便上 api 的信息，比如你处理私人信息你是相信那些大厂或者套壳呢还是一劳永逸在本地运行解决问题？ |
 | 9 johnny2inc 2024-11-04 22:53:28 +08:00 OP 的问题其实有两个： Q1:为什么有人跑本地？ Q2:为什么有人教大家在本地搭建训练？ 第一个问题楼上各位说了很多原因，我也都认同。 特别是 OP 主要还是考虑生产，而有些人，比如我，我就是想自己本地涩涩，用云端跑确实很不安心；不敏感的我当然选择使用云端的服务。 而且对于我来说，我还在摸索探索大模型更多可能性的阶段，并非需要很稳定很高效的服务，本地部署折腾着玩对我来说可能更重要。 另外我回答一下第二个问题：为什么有人误导大家（我觉得误导一词有点重了）教大家在本地搭建训练？是不是误人子弟？ A：因为在云端跑大模型不需要出教程，没办法水博客水教程…… 水（水这个动词我觉得也不太对，但一时想不出来更合适的字眼了）博客这事儿吧，实在谈不上误人子弟，人也只是给了另一个选择罢了，在我看来这就和网上一搜一大把的 Hugo 或者 Hexo 搭建博客教程一样，该用 WordPress 的也还是会选择 WordPress 。 |
 | 10 ota OP @johnny2inc 的确，如果跑一些敏感数据，有必要跑在本地或者说自己部署（远程也一样）。现在一键安装包，docker 部署也在普及，这类更多的是想做一些其他非常规用途感觉。大部分在线服务已经在整合了，并不是完全竞争的关系，都在做细分领域的深耕及并存关系，比如 sd 和 mj 的关系。后面随着 flux 异军突起，包容性会越来越强，所以也是导致我不太明显需要自己部署到本地的理由是什么。感觉是想训练模型是假，想在现有的模型里添加 uncen 内容才是真的。我也理解性是第一生产力，但还是觉得有点小众，而且无法正常出道，擦边球的生成大部分在线也能搞定，所以又回到自建的必要性了。 而且这种需求需要的代价挺大的，我看了 scaleway 或者 hz 提供的 gpu 服务器，要达到 1500TFLOPS 最低成本起码在 7-8k rmb 每月，除非是真的想要弄落地应用，不然真的很烧钱，这就是另外一码事了，目标明确就是要做那些公开平台无法实现的内容提供者。如果自建，存在硬件上的劣势，多路 gpu ，4090 起步等，这些成本不低的情况下，仅仅是想保证出图的稳定性和自主性，感觉有点轮子的嫌疑。而且回到开头说的，这些硬件的搭建加上部署，真的很烧时间，ai 的进步太快了，我觉得还停留在 installation 的第 0 阶段实属有点浪费时间，还不如尽可能把大模型和插件吃透。因为看了 huggface 后，真的没办法一个一个玩，更别说自己一个一个部署了。现在也在慢慢出现通用 api 的中间件，用来调用各大模型的 api ，感觉这才是最终形态。不然玩一个模型就要了解一个 api ，太累了。 关于误人子弟的确说过了，只能说了解原理对一部分人来说还是有必要的，就得看每个人的需求了。 |
 | 11 8355 2024-11-05 18:01:46 +08:00 我的理解是认知差异 就拿 huggingface 来讲 Inference API 很多人都不会用，我觉得文生图/文生语音/文生视频来说可靠性比自己部署还高。 纯粹测试来讲 colab 也好用的不得了。。。免费都可以用的很舒服 日常生产能用到的 PaddlePaddle 相关直接走函数计算部署了成本基本忽略不计 排除掉自己纯粹需要开发的行业外，单纯应用我觉得完全不需要部署，自己买 gpu 的方式是性价比最低的。 |
 | 12 huihuilang 2024-11-09 19:06:20 +08:00 via Android 没上过班吧，公司里面哪个数据是可以上公网的？当然自己本地部署用起来放心 |
 | 13 akira 2024-11-15 00:19:14 +08:00 本地大语言模型的缺点你可以列很多，但是，为什么不呢？ |
 | 14 jiangbingo 210 天前 再来看看 大家是否有新的更新和同步 |
| 15 ota OP @jiangbingo 现在从 chat 型转为 agent 型，本地部署的意义就更小了。更多的精力会投放在多步骤的自动化流程上，而非模型本身部署训练上。因为中小型企业是无法负担这部分开支的，api 调用是最完美的开发环境。 本地部署，主要指生产环境，开销太大，基本都是 api 调用，而且现在模型竞争激烈，开源的也就 dp 等。如果接入 gpt 或者 gemini ，你一样需要 api 调用，也无法自主性，而且维护成本高。 只有上了规模的，才有考虑本地部署的价值，也只是考虑。 至少现在我看到的应用，排除大厂，几乎都是 agent 。调用的几乎都是 api 。而且更换 api 接口更灵活。 学会本地部署，提供给其他开发者，举个不恰当的例子，比如黄图，涉政等，本身投放的市场就有限。也没有必要。 |
| 16 ota OP 本地部署有一定的应用窄度，比如医疗，律师领域等，其次 AGI 的发展，也需要各个企业对模型进行差异化定制。所以本地部署和一般开发者的关系并不大。我个人觉得本地部署，应该是大厂或者说是资本家，以及国家层面的行为。 |
| 17 jiangbingo 187 天前 @ota 收获匪浅，学习了。 |
Select Language