为啥这么多人都觉得苹果会很快上马可用度很高的本地 LLM? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dilidilid
V2EX    Apple

为啥这么多人都觉得苹果会很快上马可用度很高的本地LLM?

  •  
  •   dilidilid 2024-05-09 21:32:49 +08:00 2906 次点击
    这是一个创建于 520 天前的主题,其中的信息可能已经有所发展或是发生改变。

    安卓早就全面搭载 12G 内存高端产品搭载 24G 内存了,GPU 性能明显领先 Apple ,NPU 我没看到具体数据但应该差距也不大,苹果在 LLM 软件方面很明显并不是业界领先的,为啥很多人觉得苹果能在终端硬件上领先对手先全面部署成熟的本地 LLM 功能呢? M1 的成功是因为苹果在此前若干年能耗比在 ARM 阵营都是一骑绝尘,吊打 x86 ,就算光论性能面对当时的 10 代 Intel 也完全不虚。现在 LLM 最核心的内存(显存),苹果并不下放;算法,苹果并不领先;移动端 SOC 能耗比和绝对性能也都不占优,WWDC 发布什么能一下子让苹果 AI 起来?

    15 条回复    2024-05-26 20:30:40 +08:00
    woctordho
        1
    woctordho  
       2024-05-09 21:36:17 +08:00 via Android
    因为本地 LLM 很符合苹果的风格:注重用户隐私,忽悠用户买高端硬件,而 Google 的风格正好相反
    qsnow6
        2
    qsnow6  
       2024-05-09 21:43:09 +08:00
    这玩意最终肯定是离线和在线并行,跟目前苹果系统的 Siri 、语音识别、OCR 引擎是一样的。
    maolon
        3
    maolon  
       2024-05-09 21:43:34 +08:00 via Android
    苹果的模型倾向就跟现在主流模型不同,
    第一特别小 0.27b 0.35b 1b 和 3b 可以跑哪怕 4g 的内存里,其次他有自己的推理框架和压缩算法,这点上比安卓这边是个优势。
    第二他估计是要搞 large action model ,也就是说只要能识别用户意图并操作用户手机执行操作就行了,不是我们一般意义上 all purpose 的 llm 大模型。传统功能的大模型应该他会放云端,也就是跟百度和谷歌合作那个
    09EdgqomQp5z019t
        4
    09EdgqomQp5z019t  
       2024-05-09 21:53:21 +08:00   1
    大趋势是所有电脑和手机厂都在准备上线本地 LLM ,这是必然发生的。比如 Pixel 和三星要上的 gemini nano ,还有 vivo 也已经上线大模型手机,微软 AMD 英特尔也在推 AI PC ,早晚的事。

    但就目前的情况而言,是 ipad pro 精神错乱离谱的产品参数让广大粉丝自我宽慰和抱团取暖
    Solix
        5
    Solix  
       2024-05-09 22:28:27 +08:00 via iPhone
    国内模型开发了多长时间,号称赶超 gpt4 ,苹果不至于国内都打不过吧……
    shinecurve
        6
    shinecurve  
       2024-05-09 22:33:06 +08:00   1
    就算有了,回头一看大部分的 Mac 用户都是 8G RAM
    YlxhjP0CEnQO54M5
        7
    YlxhjP0CEnQO54M5  
       2024-05-10 08:11:47 +08:00
    @gaobh 这领域它似乎不怎么有优势,你看 siri 那个样子
    zfyStars
        8
    zfyStars  
       2024-05-10 08:36:31 +08:00
    LLM 对 8G 来说还是足够用了
    idlerlestat
        9
    idlerlestat  
       2024-05-10 09:17:40 +08:00
    谷歌都打不过 gpt4 ,甚至不如一些国内模型,不知道为什么那么多人会认为苹果能
    fannheyward
        10
    fannheyward  
       2024-05-10 09:18:27 +08:00
    现在的 macOS 和 iOS 其实已经内置了一个裁剪版的 GPT-2 ,用于英文输入预测

    - https://news.ycombinator.com/item?id=37541093
    - https://jackcook.com/2023/09/08/predictive-text.html
    fredweili
        11
    fredweili  
       2024-05-10 10:36:05 +08:00
    比拼 LLM 参数有意义么?现在除了问答,RAG ,画图,还有多少有意义的应用?
    WWDC 有兴趣看看苹果能玩出什么花样
    c9792536451
        12
    c9792536451  
       2024-05-10 10:56:30 +08:00
    @fredweili #11 正确的、中肯的
    ShadowPower
        13
    ShadowPower  
       2024-05-10 12:59:59 +08:00
    微软已经做了:

    消息源称 AI Explorer 可以在后台记录用户所有的操作,例如用户当前正在查看什么应用程序、处于哪个界面,该功能都会记录和分类它看到的所有内容,并能汇总成分析内容便于后续操作。

    例如用户打开 Windows 版 WhatsApp 应用程序,与朋友进行聊天对话,AI Explorer 会记录并记住屏幕上的内容,并通过 AI 梳理和总结相关内容,便于用户稍后处理。

    AI Explorer 还可以通过在事中或事后询问来总结对话、电子邮件、网页和一般 UI 界面。

    AI Explorer 的大部分体验都会在本地完成,不会连接到云端来处理信息。出于隐私原因,这很重要,但也出于性能原因。为了减少延迟AI Explorer 将依靠 NPU 芯片来处理已录制的内容。

    用户将能够过滤掉 AI Explorer 进程记录的特定应用程序,或者完全禁用 AI Explorer 。
    gklll
        14
    gklll  
       2024-05-23 04:31:59 +08:00
    @gaobh 只能说苹果在 AI 领域的孱弱超乎你想象。。。苹果是所有大厂里唯一没有研究院的,机器学习领域也是籍籍无名,没有听过任何一个有知名度的论文是苹果出品
    dangotown
        15
    dangotown  
       2024-05-26 20:30:40 +08:00 via iPhone
    @gklll 有些公司不允许发论文
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1009 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 18:39 PVG 02:39 LAX 11:39 JFK 14:39
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86