一个类似挖矿的想法

https://petals.ml/

你可能想说这种？

https://www.solidot.org/story?sid=74446

以 BitTorrent 的方式在家用电脑上运行大语言模型
OpenAI 的 AI 聊天机器人 ChatGPT 运行在微软的 Azure 云计算平台，普通用户即使能获得 ChatGPT 使用的大语言模型 GPT-3 或 GPT-4 ，也不可能在家用电脑上运行它们。如果人人都能运行一个分布式计算系统，联合起来打造一个在算力上能与最强大云计算平台匹敌的平台，那么我们有可能在自己的家用电脑上运行和使用类似 ChatGPT 的 AI 聊天机器人。BigScience 社区正在开发名为 Petal 的系统，以 BitTorrent 的方式在家用电脑上运行大语言模型。Petal 可以集成最新的大语言模型，当前支持性能与 GPT-3 相近的 BLOOM-176B 大语言模型。

这是任何人都可以共享算力计算蛋白质折叠的项目
Folding@Home：
https://foldingathome.org/

分布式计算，二十年前就听说国外在搞了。

二十多年前就有一个项目叫 SETI@ home ，现在挖矿模型的祖宗，利用剩余能力，主动加入，分析数据，搜索外星人。

@chaojie 按错键发出去了，我早就有这种想法，项目都建好了，实现也很简单，奈何执行力欠缺

@chaojie 纯 idea 啊

@XiLingHost @Rehtt 想问下，收益如何，能覆盖电费吗

我是在央视上看到的探索外星人项目小时候

搞搞小应用还行，家用 PC 差异非常大，没有统一标准，网络差异也非常大

当初买 3070 挖 ETH 的时候备用选项就是出租算力给炼丹的

你说的早就有了，难点在于你的项目怎么赚钱或者能便宜多少

很久之前就一直在考虑这个
1 、server 和 client 的概念可以借鉴 pt 去中心化
2 、资源调度问题，能做到什么粒度
3 、收益能否吸引用户，用户粘性
4 、发布的计算任安全性如何保证
5 、算力共享支持哪些模式，支持哪些深度学习框架

国外的分布式计算，国外计算π值，寻找大质数这两个项目早有了。

@garibellee 要不一起填坑啊。我也是想了挺久，总结了一下

定位：
AI 时代算力云服务的迅雷（ P2P ），滴滴（调度），币安（交易）平台。在此基础上面向终端用户提供多个统一的融合超级 AI 应用。

用户群体：
两种。一、AI 算力的消费者，为使用付费。二、AI 算力的提供者，从平台获取收益。两种用户可以交叉，即某用户即为消费者也为提供者。

需求分析：
AI 时代算力昂贵，算力不足。特别是我国被美国制裁的前提下。Chat 类低算力要求的场景尚且不能大规模推出，绘画视频类的场景更是很难涉及。终端用户排队 loading 的体验根本无法真正作为生产力工具使用。

另一方面，又有设备闲置。很多游戏爱好者购买高端显卡，真正使用的时间最多占 24 小时的六分之一。很多矿场违法挖矿，生产虚拟币，个人还看不到对社会很积极的作用。

还有，百度、阿里、腾讯等有实力的公司也不可能推出一个通用应用，分配几十张显卡给某一个用户去生成视频，但一张显卡占用 1 小时和 60 张显卡占用 1 分钟的体验是完全不同的，算力却相同。无法满足个性化的付费需求。

再者，大模型通常有较大的存储占用，与特定的环境需求，但未来一个视频的生产过程，整个流程分解开来通常需要多种模型能力来合作，如果只是一台机器，很难顺畅流畅的串连起流程，优秀且无感的完成这种任务，而且这种只能开发者个性化的来完成实施，不可能大规模的推向普通消费者。

一种模板式的融合超级 AI 应用，能够无感的使用多台服务器，多种模型能力，对于普通消费者来说才是真正的 AI 生产力工具，才能真正让 AI 社会到来。

这种服务却一定要是分布式的，可控的，不能前面的流程已经绘制完成，最后负责合成结果的服务器下线了，所以一定是大规模的有多种冗余机制。但如果要做到低成本，就只能是 P2P 这种形式。

而为了解决提供算力用户的安全性担忧，客户端代码必须是开源的。服务器端代码可以在平台形成优势后逐步开源。

显卡高强度 24 小时开着，也是有损耗的。

高端显卡光折价费就不低，估计很多人并不愿意。

跑 sd 的也有，stable horde ，跑图出来的积分可以用来让别人帮你跑图。积分可以转让，所以应该能找到买卖的

个人用户加入的话，怎么平衡个人电脑的资源调度？ CPU 、GPU 、内存这类资源用户不清楚什么时候用的到，但是你又不能让用户的电脑卡顿，不然分分钟就卸载了

个人用户加入，预计能有多少收益呢？
顾得住电费的基础上

可以看的出来，这个趋势很多人都预见的到。

前面很多人说国外什么项目早就有了之类的，那是完全不同的。以图片生成举例：
一、这个不是公益性项目
二、这个是可以实现几秒出图就有收益的。因为有人付费。并不是要算很久出了一点点结果才有收益
三、这个并不是所有人都统一一个最终任务，统一一个环境
四、现在很多大模型需要 20G 以上 VRAM ，甚至下载一个模型需要半天。但是用户只需要用很短时间生成一个结果，因此很多人想尝试也尝试不了。但你可以出售 3070 的算力，去交换 A100 的算力
五、现在 google colab 禁止 sd webui 运行了，可以看的出免费的算力是很难长久的
六、huggingface 上很多 space 都没办法稳定用，就算能忍受慢也白搭，出错是常态

@wanwaneryide 这个很简单，只需要一个开关就解决了。打开说明你不用电脑了，可以出售算力

我 devops 全栈，有兴趣，想干，有时间。合伙可以找我 rrrgqhq

有几个难点：
1. [未来的不确定性] 即使对于现在的小模型，也只有少部分电脑能单机运行（显存要求高）。一段时间后，可能会出现，任何值得跑的模型都需要 20G 显存的情况，那么这个分布式工具可能就白做了。（甚至如果用虚拟货币来简化中间结算的话，假设没有合法问题，也可能会有暴雷跑路的风险）
2. [当前市场的不确定性] 用量小的，试着玩的，大概率不会为此付费。需求用量大的，能创造价值的，可能考虑自己买机器和显卡，或者会使用云服务。分布式的市场可能存在，但不是特别明显，只能做出来试试看结果。
3. [技术问题] 生成出来的内容的加密保护和完整性验证。
- 用户花钱生成出来的结果，归属权是花钱的人，所以制造的机器不能有权利看到内容，要在没有可查看的临时文件的情况下给结果加密，传给付费者，也就是要修改模型生成的代码，支持新模型和更新老模型的成本略高。
- 完整性其实是最麻烦的，如果乙方的 GPU 有问题，生成出来的图片质量有问题，这东西没法用算法来判断（因为本来就可能 10 台机器会生成 10 个不同的结果），甚至可能让人来判断都不好判断（不知道是算法的锅还是显卡的锅）。难道可以让甲方给乙方的结果打分？数据量大且平均分低的可能就是显卡的锅了？

解决痛点：A 用户有计算的需求，但是云计算价格昂贵，想要更廉价的计算方案。而有一些普通用户有闲置资源，成本较低。可以通过一个中间平台，打通消费端到供给端的通路，并收取中介和管理费用。

有很多类似的运作模式。比如 PT：大家共建一个 P2P 网络，激励是社区的积分（上传量）。比如 PCDN：通过限制的带宽来赚钱。
共享算力的也有，例如去淘宝开个店铺，按天或者按小时租赁高性能设备。或者一些平台上搭建的私人 GPU 共享的方案。

现有的算力共享相当于 IaaS ，楼主是想做个 PaaS 。把出租整个机器变成出租一个计算功能，租户不用管底层的硬件设施。

我觉得是可行的，有几个点要考虑：
1 ）技术问题：用户自己管理的机器，稳定性存在问题。
2 ）财务问题：需要有一个业务场景，有大规模计算量的需求，能够给社区源源不断输血，而且相比云计算 OR IaaS 方案能够带来成本上的节约。
3 ）安全问题：解决数据安全的问题。这个类似网格计算，网格计算的一个最大问题就是数据安全问题，数据在一个不可控的环境中计算，数据怎么存，怎么防止泄漏，炼的丹药等等。

其中最大的问题我觉得是 2 ，PaaS 的方案能比 IaaS 的方案节约多少成本呢，我觉得是有个问号在的。

@robinchina 我上学那会儿还用实验室参加过这个项目大概 13 年左右，伯克利学院搞的，当时也能挖矿，老师在挖矿和找外星人选了后者，跑了一段时间，没啥进展

有兴趣

迅雷玩客云就是这个思路，之前好像做网吧系统的顺网也搞过，京东云现在的无线宝也是做这个的。
这个模式目前来看跑不太通，首先是技术难度比想象中大，安全什么的都是问题；其次高估了个人用户的收益，例如一个普通用户，要整天让他把电脑开着，显卡转着，减去电费宽带费一年赚 50 块以内，两杯咖啡，他大概率是不乐意；最后是低估了公有云厂商的能力，如果计算一下，我相信单位算力、单位带宽、单位存储，公有云厂商做起来相比个人肯定是更便宜的，再加上公有云还能更好的弹性分配，确保资源利用最大化。

首先这个思路没问题的，其次是怎么调度均衡到各个主机，第三就是业务场景了。说实话如果业务场景可行，完全可以不用家庭电脑，大批量数据中心部署都行的。

民用电力 零散计算设备 闲时收益 这种玩法 很难和规模化机房 大宗电费交易 来做成本上的抗衡， 或许 纯公益项目 参与者自负成本 用爱发电贡献算力，倒是有可能的，比如说 为 idol 贡献算力

@chaojie 我自己一个项目也设计了基于用户的分布式计算和 PCDN ，要不要一起填坑啊
@garibellee

币圈已经有人这么干了，就是 dnx ，dnxcoin 主打的概念就是打造全球最大的神经共享网络，挖矿的积分可以用来跑各种算力任务，比如 AI ，视频，加解密这类的，把矿工的矿机当做生产力工具，理念吹得是很宏伟，实际上还是挖矿。

"百度金矿"

@Aloento
@wanghui22718
@garibellee

有兴趣入群开干

@chaojie 1

您是不是在找 : BONIC

我认为这个系统很难实现，任务调度成本太高。

有点沙雕。如何得出"感觉怎么着也比买云服务器便宜的多的结论的"？

考虑一下政策风险吧