小白求科普,未来 ai 是中心化的服务还是终端进行计算? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
raw0xff
V2EX    OpenAI

小白求科普,未来 ai 是中心化的服务还是终端进行计算?

  •  
  •   raw0xff 2024-07-23 17:50:11 +08:00 1690 次点击
    这是一个创建于 453 天前的主题,其中的信息可能已经有所发展或是发生改变。

    由于对大语言模型原理完全 0 知识储备,大佬勿喷啊 现在个人设备可以运行 ollama 使用某些模型,w3c 也有像 WebGPU 这样的 API 可以调用用户设备算力,是不是说未来 ai 的方向会更趋向于不需要联网的终端应用?那些大公司花钱买那么多 GPU 堆算力的目的是什么?

    10 条回复    2024-08-02 11:55:35 +08:00
    passive
        1
    passive  
       2024-07-23 18:21:44 +08:00 via Android
    只能问当下。当下两种都有应用的场景。

    评论里说未来怎样的,都只能参考。谁知道未来会有什么牛逼的原理、算法、硬件。

    要是我真能知道未来,我就能赚大钱。
    murmur
        2
    murmur  
       2024-07-23 18:24:25 +08:00
    肯定是双管齐下,小爱今年要开全平台 AI ,包括智能音箱

    本地 AI 就做抠图 补图 这些东西
    piero66
        3
    piero66  
       2024-07-23 19:34:29 +08:00 via Android
    agi 出现后本地部署模型可能会拉开差距,但一定会有中间件调用云端 agi 来增强本地 llm 的
    75S3CWXNN0VQ84mg
        4
    75S3CWXNN0VQ84mg  
       2024-07-23 19:39:02 +08:00
    LLM 服务的小型轻量化和能力强化都有价值。但是很难让物联网设备去 run ,云服务更有意义。
    ztm0929
        5
    ztm0929  
       2024-07-23 20:10:08 +08:00 via iPhone
    本地和云并不是非此即彼的对抗,微软推 Phi ,OpenAI 推 GPT-4o mini ,Apple 推 OpenELM 。这些大佬都在全面布局以上设备端小模型的同时继续升级已有的联网大模型。

    未来的方向就是强隐私的、聚焦的、追求极速的任务由本地芯片调用小模型完成,通用的、宽泛的、不追求速度的任务交给联网大模型解决。

    那些大公司买 GPU 就是为了训练自家模型然后作为服务卖给用户啊典型的就是百度
    raw0xff
        6
    raw0xff  
    OP
       2024-07-23 20:56:22 +08:00
    @ztm0929 是不是训练迭代自家模型的同时再开放给付费用户还能收回一些成本。
    ztm0929
        7
    ztm0929  
       2024-07-23 21:08:10 +08:00
    @raw0xff 作为服务带来的直接的经济回报我就不太清楚,大概率不理想,就连 OpenAI 也在长期大量的亏损中(我不确定现在如何),百度 Robin (李彦宏)这么急也就不难理解了(经典言论:开源是“智商税”),言下之意就是我投入了这么多前期成本,大家快点买我的服务。

    但作为大企业提前购置显卡还是非常有必要的,AI 时代里的显卡算力、电力、数据就相当于传统的石油,谁拥有多谁就更有可能有话语权。
    ywkk
        8
    ywkk  
       2024-07-24 11:16:56 +08:00
    @murmur 小爱开放大模型接入?出处在哪?

    另外本地化不一定是抠图补图,待 3 、5 年后 H100 级别的 GPU 白菜价之后,很多小企业会部署大模型做本地推理。
    murmur
        9
    murmur  
       2024-07-24 12:30:48 +08:00
    @ywkk 不是,以前是等级鲜明,只有新机器才能用 AI 小爱,老机器还是旧版本,现在是全小米产品都换新版
    antiblahblah
        10
    antiblahblah  
       2024-08-02 11:55:35 +08:00
    中短期看两者肯定会共存。
    头部 ai 能力一定会越来越集中,而且可能会加速演化,拉大差距;但统一大脑的算力要求也非常高,也可能会受限于组织边界,形成多脑竞争的局面,但因为学术领域的区分没有那么大,所以也不会有量级上的差别,而且受限于资源,还是会分层吧,军用,商用,公用等等;
    边缘智能也一定会存在,因为存在大量离线场景,但能力上肯定会缩减或做特殊优化,都是蒸馏后的模型。
    酒后胡言,欢迎来杠。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5296 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 01:20 PVG 09:20 LAX 18:20 JFK 21:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86