
为什么没有这样的平台,用户可以主动申请加入,加入后平台可以利用所有用户的显卡资源进行训练,如果训练出的大模型如果可商用,根据比例进行分成,用户从而获利。这样的话是不是老黄的显卡就卖不出去了,所以老黄说感觉明天公司快倒闭了。。。
1 MRlaopeng 127 天前 感觉应该是有的, 这不就和挖矿或者挂机赚钱一样吗,你去问下 Ai |
2 cvooc 127 天前 挂机宝(挖矿版) |
3 MIUIOS 127 天前 早就有了,多了解一下币圈就知道了,一堆这种平台,但都是为了割韭菜 |
4 xtreme1 127 天前 因为互联网那点可怜的带宽能让你训到宇宙热寂 |
5 Zoyo94 127 天前 ##### 仔细想想其实现阶段不现实 ##### 这部分显卡之间的算力通讯延迟等等因素就够头疼的了 ##### 可以理解为之前的本地电脑,网络带宽发展到现阶段才实现了云端电脑。这只是单个普通通信,显卡那就复杂多了。 ##### 大差不差的道理。 |
6 kuro1 127 天前 通信速度... |
7 sunny352787 127 天前 曾经有类似的项目,十几年前吧,有各种可以申请加入的分布式计算项目,蛋白质分析和寻找外星人什么的,利用分散的算力来做科学研究,纯公益性质的。现在你有数据分发的功夫都算完了。 |
8 liu731 PRO 太多了(一堆根据这个概念割韭菜的),数据传输是硬伤 |
9 shadowyue 127 天前 想一想,能部署在这样平台上的项目是有一定要求的, 最基本的就是计算任务可切片拆分,而且互相之间应该没有依赖关系。 否则第一切片的技术任务不完成,后面的任务都要干等着。 这种项目可不好找。 |
10 mkroen 127 天前 有个算了么平台,有类似的功能。至于整合资源训练的想法,用户环境差异、资源分配、安全权限等一系列问题,这些都不太容易做好吧。另外大多数家庭都有电脑,做 cpu 边缘计算,如果算力整合方案可行,家庭共享的算力按理早就取代部分云服务器了。 |
11 Hilalum 127 天前 无法 rdma |
13 MIUIOS 127 天前 之前这种平台井喷式的出现过,大部分采用链交易,整个过程上链, 我也用过一些,最大的问题就是数据传输问题,提供算力的机器不一定能提供你需要的数据储存能力,随便一个大模型都几十 G ,这还没包括训练的数据啥,最后就变成了这种平台只能跑跑一些灰色的产业 |
14 adrianyx 127 天前 现在训练主要的瓶颈其实在通讯,所以其实这个东西意义不大 |
15 satoru 127 天前 为什么你会认为没有? |
16 dreamshield 127 天前 延迟接受不了 |
17 shyrock2026 127 天前 你猜为啥大模型要用显存而不是内存。。。 |
18 crayabel 127 天前 已经有了,你搜算力共享平台 |
19 banmuyutian 127 天前 分布式蛋白质结构计算,可以用家里的闲置算力为科研做贡献 https://zh.wikipedia.org/wiki/Folding@home |
21 ethusdt 127 天前 我举一个例子: https://devnet.inference.net/ |
22 7gugu 127 天前 这种平台就满足你的需要了吧: https://boinc.berkeley.edu/ 大家都会在上面贡献自己的算力,给科学任务计算用 |
23 LeonardSc 127 天前 有,但是效率太低 |
24 fcten 127 天前 因为大模型训练不仅要算力,还要考虑带宽和延迟。 即使是专门针对大模型训练优化的机房,算力利用率大概率都不到 60%。 通过互联网训练,算力利用率可能不到 1%。 |
25 YsHaNg 127 天前 有的 最简单你跑个 ollama 暴露默认端口到公网过两天看看 |
26 jerryrib 127 天前 BOINC |
27 pweng286 127 天前 有个什么寻找外星人. 记不清了,类似. |
28 zhanying 127 天前 NVLink 可是牢黄的护城河,就互联网那点上行带宽你还想分布式训练。。。。 |
29 gefranks 127 天前 SETI@home, 差不多有快 30 年前了. |
30 ThirdPer 127 天前 最大问题还是网络带宽,你想想现在家用宽带那点速度,传个几十 G 的模型数据都要传半天,更别说实时通信了。而且显卡之间的延迟要求特别高,不像以前那种可以慢慢算的科学计算 币圈倒是有一堆这种概念的项目,但大多数都是割韭菜的... 真正能落地的很少。老黄也不用担心显卡卖不出去,毕竟现在 AI 训练对硬件要求越来越变态了,家用显卡根本扛不住那种规模 |
31 XnEnokq9vkvVq4 127 天前 https://chutes.ai/ 好像就是 |
32 zhwguest 127 天前 内存的带宽都嫌慢,还何况网络.... |
33 ambition117 127 天前 via iPhone nvlink 1.8TB/s(大 B)都嫌慢,还指望互联网那小水管 |
34 HENQIGUAI 127 天前 先看有没有,再问为什么。 |
35 Masonn 126 天前 也是有的,深度学习里面“联邦学习”就是解决你说的这个问题,多中心训练 |
36 williamx 126 天前 这种几十年前就有了,不说挖矿,公益计算也很多。 |
37 cha0szhao 126 天前 CG 行业的渲染农场 |
38 LnTrx 126 天前 要区分两件事: 通过公众网络借用算力。这已经很成熟了,无论是 CPU 还是 GPU 。 通过公众网络联合训练一个大模型。这缺乏意义,因为大模型训练本来的重要瓶颈就在互联带宽,公众网络远远无法满足需求。 |
40 COOOOOOde 126 天前 |
41 layxy 126 天前 因为 AI 执行和训练需要很高的带宽 |
42 gongym 126 天前 这不就是矿池嘛 |
43 killva4624 126 天前 数据量大了之后,通信、存储、计算都是瓶颈。 |
44 clemente 126 天前 因为 AI 训练 从全局的角度看 是阻塞的 分布式节点不支持异构 |
45 clemente 126 天前 400GB 的模型 你想说 同步到每个设备上做训练吗? 垃圾节点的接入对于整个分布式简直是攻击 |
46 kiracyan 126 天前 分布式计算的算法才是关键 |
47 Pteromyini 126 天前 甚至都不用提大规模训练,现在的稍大点的模型都会遇到明显的 io 瓶颈和并行瓶颈。主流的训练方案多卡甚至都是只用一个卡的算力+多卡的显存 |
48 ShinichiYao 126 天前 当年的 SETI@HOME ,寻找外星人计划就是,电脑上安装完就是一个屏保,电脑空闲的时候显示一个很科技感的屏保,后台贡献 CPU 算力 |
49 i8086 126 天前 |
50 ShinichiYao 126 天前 而且是离线也可以运行,把计算内容分片下发,计算完成后在有网络连接的时候把结果传回服务器 |
51 osilinka 126 天前 有吧,加拿大 Montreal 就有个创业公司做这个,不过不知道现在怎么样? https://nebulai.network/ |
52 way2explore2 126 天前 via Android |
53 opengps 126 天前 赚了一个亿分你一块钱你高兴吗?你交电费够用啊? |
54 clemente 126 天前 说一个类似的对比 现在欧美这么多不工作的人 应该拉到一起去做芯片制造和芯片设计 你觉得能行吗 人与人之间差距 很大. 并到一个系统 只会是攻击性的 |
55 yansideyu 126 天前 挺多 depin 项目宣传的就是共享 GPU 、CPU 、闲置带宽之类的,但实际大部分项目都是骗钱的 |
56 dosmlp 126 天前 带宽太低,延迟太高 |
57 wenkgin 126 天前 以前不是有新闻报道过,黄瑟网站挖矿吗 |
58 dmanbu 126 天前 你把显卡改成老婆,再重新读一下标题看看? |
59 liuidetmks 126 天前 曾经有个 ZetaGrid ,用来寻找黎曼猜想的反例 05 年停了 |
60 Haku 126 天前 我记得很久以前有个项目,不知道是不是上面提到的 ZetaGrid ,在显卡还没那么重要的年代,通过分布式计算的想法,让个人电脑贡献算力。 现在的话应该是云算力啥的吧,也有的 |
61 nanvon 126 天前 有的兄弟有的,不少公司都是做这个业务的,现在政府也在搭建区域算力中心,也就是你说的这种 |
62 echo1937 126 天前 有些项目例如蛋白质折叠这类对并行友好的是 OK 的,大模型训练这类对带宽延迟敏感的不行。 |
63 xkeyC 126 天前 挖矿是分布式弱关联暴力破解 ai 训练高关联高带宽,互联网不太够 |
64 xomix 125 天前 带宽问题导致的,全光纤直连应该可以。 |
65 Greendays 125 天前 一个 PCIE4.0 x 4 的接口有超过 40Gbps 的带宽了,这得多少网线才能追得上。 |