运行 AI 有感, GPU 显存带宽大,访问速度飞快。PC DDR 内存慢,当初就不应该那么设计插槽的。那么多年下来,消费级还是双通道为主。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tool2dx
V2EX    硬件

运行 AI 有感, GPU 显存带宽大,访问速度飞快。PC DDR 内存慢,当初就不应该那么设计插槽的。那么多年下来,消费级还是双通道为主。

  •  
  •   tool2dx 219 天前 1374 次点击
    这是一个创建于 219 天前的主题,其中的信息可能已经有所发展或是发生改变。
    应该把金手指去掉,做成 CPU 那种一大堆触点,这样就可以搞搞 8/16/32 多通道技术了。

    你看隔壁 XBOX 这种 APU 游戏机设计,虽然延迟不怎么样,至少做到了显存和内存的真融合技术。不像 PC ,只要爆显存,推理速度就巨慢。那么多年下来了,内存带宽就是上不去(对比 GPU 显存 GDDR 的超大带宽,直流口水)

    老是有人说,游戏机设计目的和通用 PC 不一样,我就不明白哪里不一样了,不都是运行 EXE/ELF 程序嘛。我估计未来 PS6 跑 deepseek ,那也是手到擒来。
    10 条回复
    Donaldo
        1
    Donaldo  
       219 天前
    尺寸不够吧,竖着能有那么多颗粒,你这样横着怎么搞,只能靠堆叠了,技术过关么。
    tool2dx
        2
    tool2dx  
    OP
       219 天前
    我查了一下 wiki ,早在十几年前,差不多 GTX660 的时代,就已经上 GDDR5 显存,带宽 bandwidth 干到了 186G/s

    然后十多年过去了,内存要到达同等速率,一直是可望不可即的存在。
    tool2dx
        3
    tool2dx  
    OP
       219 天前
    @Donaldo 所以说传统 PC 没有创新意识,幸亏苹果 Mac mini 4 自研了 SoC ,要不然大家还在用龟速 x86 CPU 。
    Donaldo
        4
    Donaldo  
       219 天前
    @tool2dx #3 片上内存这个概念和苹果有什么关系......................................................您还是多去了解一下再来评论吧
    tool2dx
        5
    tool2dx  
    OP
       219 天前
    @tool2dx 我是说苹果的 M1/2/3/4 系列芯片的创新意识,不破不立,技术革新不能太墨守成规。

    早年坚持 ARM 替代 x86 ,会造成很多软件不兼容,微软也不敢动,只有苹果做到了。
    tool2dx
        6
    tool2dx  
    OP
       219 天前
    至于为什么要把苹果扯进来,因为他内存带宽超级高啊,基本上和显存带宽不相上下了。(金子价格另说)

    普通 PC 能做到这点吗?完全不可能。
    june4
        7
    june4  
       219 天前
    amd 的 ai pc 和最近 intel 的 cpu 不都是统一内存
    tool2dx
        8
    tool2dx  
    OP
       219 天前 via Android
    @june4 台式机还是 ddr5 为主,双通道跑分顶天 90G/s ,比起十年前的 GTX660 ,还差了整整一半。
    ryd994
        9
    ryd994  
       219 天前 via Android   2
    因为不需要。GDDR 带宽大是靠位宽。延迟比 DDR 高。CPU 做计算需要的是延迟不是带宽,各种控制指令让 CPU 有大量随机读写。miss 多几次,有效带宽就下来了。

    苹果用的是 LPDDR ,LPDDR 功耗低但是价格贵。容量很有限。苹果的内存带宽高是不得已为之。因为是融合内存架构。GPU 没有显存,等于核显共享内存。所以内存必须做到带宽高同时延迟低。这就是金子内存的原因。X86 移动平台一直都有用 LPDDR 的选项,在苹果自研 soc 之前就有。

    PC 上内存和显存分离,分别优化延迟和带宽,成本更低。普通台式 PC 要么低成本,要么打游戏。都不是带宽敏感的应用,很少会跑满内存带宽。GPU 用显存,也不需要考虑内存带宽。

    像你这样非要在家用平台上跑 AI 的,根本就是小众异类。服务器平台十五年前就是 4 通道。最新的 xeon 支持 12 通道,就问你带宽够不够?你跑 AI 爆显存之后慢,瓶颈是 pcie 延迟和带宽,内存带宽再大也白搭。人家跑 AI 用的是专业计算卡,不需要拿内存当显存用。这种 GPU 计算服务器,CPU 和内存可以极致减配,只负责为显卡服务。
    crac
        10
    crac  
       213 天前
    我总结一下楼上各位的意思,东西是有的,你不了解就开喷时不对的。

    我建议你买个 HP Z8 G5 主机上双路 16 通道内存浅玩一下
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2705 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 07:42 PVG 15:42 LAX 00:42 JFK 03:42
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86