All in one 系统 GPU 虚拟化 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
AmoxiDu
V2EX    NAS

All in one 系统 GPU 虚拟化

  •  
  •   AmoxiDu 2023-03-05 11:03:18 +08:00 14478 次点击
    这是一个创建于 952 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教大佬们,由于在用 NAS(J1900 黑裙)和个人服务器( i3 8100+32G ram )性能不够,计划组一台 13 代 CPU ( i5 13500+64G ram )的 Allinone ,用来完成 NAS 、HTPC 、个人服务器的工作负载。慢组,时间最长能放长到年底,先基于现在硬件价格贴一下配置:

    硬件 规格 价格
    主板 铭终结者 B760m 某多 760
    CPU 13500 QS 某宝 1500
    RAM 金百达银爵 D4 3200 32G x2 某东 900
    电源 鑫谷 AM650w 冰山版 某多 281
    机箱+散热+sata 线 御夫座套餐 某宝 788
    硬盘 HC320 8T x2 、西数蓝盘 2T x2 、NVME 固态 512G x2 、Sata3 固态 1Tx1 已有不计价
    合计 4229

    常见的虚拟化系统 ESXI/WinServer/PVE/Unraid ,哪种系统能较好实现 GPU 虚拟化:需求是 Jellyfin 硬解和虚拟机 windows ( 2-3 台给家人用)能共用显卡

    • 已知 ESXI 8.0 不支持 13 代 CPU ,先出局。
    • 已知 Unraid 6.11 的 GPU 虚拟化插件 Intel GVT-g 仅支持到 10 代,也出局。

    留下 WinServer 、PVE 不懂,请大佬们指点一哈。

    43 条回复    2023-12-20 14:58:34 +08:00
    michaelzxp
        1
    michaelzxp  
       2023-03-05 11:21:03 +08:00
    我也在弄,最难决定的就是功耗长期电费
    Damn
        2
    Damn  
       2023-03-05 11:21:43 +08:00
    12 代 sr-iov 遥遥无期,也出局
    n/a 的 GPU 虚拟化要 license ,也出局
    结论:别用了。
    AmoxiDu
        3
    AmoxiDu  
    OP
       2023-03-05 11:26:03 +08:00 via iPhone
    @Damn 哈哈,劝退
    AmoxiDu
        4
    AmoxiDu  
    OP
       2023-03-05 11:28:08 +08:00 via iPhone
    @michaelzxp 我在用的方案里,功耗大头还是虚拟机,在 esxi 设置上了定时关机,没具体测过,但是看每月电费账单感觉还行。
    vsomeone
        5
    vsomeone  
       2023-03-05 11:33:52 +08:00
    GPU 虚拟化都要花钱买 license 的,而且基本上没有个人授权
    sen506
        6
    sen506  
       2023-03-05 11:37:01 +08:00 via Android   1
    12 代及以上的 gpu 虚拟化要用到 sriov ,这个官方的驱动,应该是今年 q4 才正式发布。
    https://github.com/intel/linux-intel-lts/issues/33


    想提前用上的话,也可以尝试下这个
    https://github.com/strongtz/i915-sriov-dkms

    https://forum.proxmox.com/threads/passthrough-igpu-alder-lake-intel-12th-via-proxmox-whats-next.120947/
    Augix
        7
    Augix  
       2023-03-05 11:43:24 +08:00   7
    个人在用的方案是 NVIDIA vGPU ,2080Ti + vgpu_unlock + PVE 虚拟化带了 2 台 Linux 和 3 台 Windows
    相关教程: https://gitlab.com/polloloco/vgpu-proxmox
    https://wvthoog.nl/proxmox-7-vgpu-v2/
    vGPU License 的话现在也可以无限白嫖
    efsg
        8
    efsg  
       2023-03-05 11:52:06 +08:00
    ES 的 13500 涨到 1500 就别买了,前两个月才 1300
    ixixi
        9
    ixixi  
       2023-03-05 12:10:37 +08:00
    觉得最省心的是 WinServer 安装 Jellyfin;
    然后在 win 上安装虚拟机 开发用
    PowerDi
        10
    PowerDi  
       2023-03-05 12:55:35 +08:00
    @Augix 您好,请问是否可以付费共用。训点小模型使用
    AmoxiDu
        11
    AmoxiDu  
    OP
       2023-03-05 13:06:39 +08:00
    @sen506 简单了解了一下, 大佬贴出的 i915-sriov-dkms 方案应该是目前最适用于 Allinone 的了。也搜到有博主写的在 PVE 下的安装指南,贴出来供朋友们参考: https://foxi.buduanwang.vip/virtualization/pve/2695.html/
    @Augix N 卡在家用 Allinone 环境有点费电,不过我这套方案可以上独显,如果上面核显无法实现虚拟化,可以考虑买个 1660s 矿卡使用 vgpu_unlock 。
    @efsg 1500 这个是 QS 正显。
    @ixixi 如果没有多台 Windows 虚拟机需要,确实宿主机用 WinServer 最方便,性能也好。有的话就不行了,没有显卡的 Windows 虚拟机一卡一卡的。

    感谢各位朋友的回复,后面我有时间折腾成功了,再来补充说明自己使用的方案。
    /tr>
    billytom
        12
    billytom  
       2023-03-05 14:26:00 +08:00 via Android
    13 代 cpu 的 arc gpu 核心,要在 linux 里方便驱动,你最好多等一年吧
    Eytoyes
        13
    Eytoyes  
       2023-03-05 14:37:37 +08:00
    12 代核显虚拟化折腾一圈没解决,后来装的 ltsc 用,jellyfin 用 intel 核显解码很好,nas 用的黑裙 7.1 虚拟化只能靠 VMware workstation ,更没有硬盘直通

    后悔没搞 i3-10105 ,但是换来非常安静的散热,稳定性也还不错
    photon006
        14
    photon006  
       2023-03-05 14:42:30 +08:00
    分给多台虚拟机可以插多张显卡,pve 分别直通给多个 vm ,我以前试过挖矿,性能没有损失,跟物理机一样:

    [img][/img]

    30 系显卡比较厚,我主板 b550 ,2 个显卡插槽距离不够,有一张还是用延长线外接放地上的。
    herozzm
        15
    herozzm  
       2023-03-05 14:44:18 +08:00
    既然是 GPU 虚拟化,为什么没有显卡
    fengyaochen
        16
    fengyaochen  
       2023-03-05 14:55:31 +08:00
    GPU 虚拟化又没办法输出画面,你怎么给你家人用?想要给家人用 GPU 必须直通然后才能输出画面,那样 2-3 台 windows 就需要 2-3 张独立显卡
    piku
        17
    piku  
       2023-03-05 16:14:44 +08:00 via Android
    最近也在折腾这个问题,剁手了 k4200 (六百多)试图试试,结果家里 gen8 不兼容(最高支持 k2200 )
    piku
        18
    piku  
       2023-03-05 16:15:52 +08:00 via Android
    就我所知对显卡虚拟化 PVE 支持比较好
    zx900930
        19
    zx900930  
       2023-03-05 16:26:02 +08:00
    12 代可以 sr-iov 了
    我是用 pve+12400, 打了 i915-sriov-dkms 补丁

    自带的 hd7xx 独显 jellyfin 同步硬解 4k x 3(我自己的测试样本单 stream 码率不超过 80Mbps)毫无压力还支持 av1

    注意
    1.win 客户端选 win10 不要选 win11!!
    2.linux 客户端最好选 ubuntu, arch 之类内核稍微新一点的, 不然可能打不上那个 i915-sriov-dkms 补丁造成无法直通

    但是, 因为总体而言 hd7xx 系列的核显性能就那样, 你多个 vgpu 同时使用的时候很快就 100%了

    比如你一个 vgpu 在给 jellyfin 解码, 另一个 vgpu 在 windows 底下玩大型 3D 游戏, 那么直接 jellyfin 解码变成 10fps 左右, 那个 3D 游戏估计也就是 20fps 左右, 所以真要想超过 4 个客户端同时使用, 最好还是插个显卡分摊一下.
    hez2010
        20
    hez2010  
       2023-03-05 17:44:55 +08:00 via Android
    试试 Windows Server 2022 的 Hyper-V 虚拟化?可以开启 GPU-PV 就有完整的 GPU 虚拟化,几乎不损失性能,不过对 Linux 需要换成 WSL2 的内核才能支持。
    deorth
        21
    deorth  
       2023-03-05 17:54:17 +08:00 via Android
    没钱怎样都出局
    xnxy
        22
    xnxy  
       2023-03-05 18:16:31 +08:00
    ubraid
    xnxy
        23
    xnxy  
       2023-03-05 18:17:31 +08:00
    还是换回 10 代之前的 u
    feather12315
        24
    feather12315  
       2023-03-05 19:24:44 +08:00 via Android
    Intel GPU 用 PVE 可以做 GPU 直通先凑合下
    thtznet
        25
    thtznet  
       2023-03-05 20:05:36 +08:00
    HTPC 现在随便买个盒子,配置安全足够,可玩性高多了,没必要集成在虚拟机里,属于自找麻烦的需求。NAS 和 小服务器用虚拟化集成在一起还算搭得上边。Windows 没许可,如果真打算 all in one 系统肯定不能吃配置,i5 这种级别还是 linux 吧,也就 pve 了,13 代支持也不行,但是总归慢慢会更新上来的。
    wingerwwang
        26
    wingerwwang  
       2023-03-05 20:59:39 +08:00 via iPhone
    我的 10 代 win-server 最近崩了一次之后 jellyfin 和 plex 都装不上了…官方安装包装上之后卡死没反应…换过硬盘重装过很多次系统都没有。太奇怪了,日志发论坛也没人理我。
    inorobot
        27
    inorobot  
       2023-03-05 23:23:28 +08:00 via iPhone
    一直不太理解解码的应用场景,外网流量看视频?我配了台 AIO ,4090 单卡直通,其实性能有点浪费,但是消费卡不支持 vGPU ,只能用的时候开对应的虚拟机了
    ltkun
        28
    ltkun  
       2023-03-05 23:26:49 +08:00 via Android
    消费卡也支持的不过不支持最新的 老款 10xx 肯定可以 vgpu
    hanssx
        29
    hanssx  
       2023-03-05 23:27:02 +08:00
    @Augix 请教个问题,vGPU 的话,能用 2080ti 的视频输出接口吗,比如 HDMI DP 之类,好像用不了?
    Linken404
        30
    Linken404  
       2023-03-06 01:40:01 +08:00
    最简单稳定的反而是多插几块亮机卡直接直通吧……
    bobryjosin
        31
    bobryjosin  
       2023-03-06 07:14:55 +08:00 via Android
    用 pve 做 gpu 直通吧,也可以 lxc 容器映射宿主机 gpu ,损耗也不大,或者搞张 p40 用 vgpu 试用授权,每天重启刷新授权也是可行的,消费级的卡可以用 vgpu_unlock 伪装成专业卡使用 vgpu 功能,后两者都很麻烦,建议使用前两种。
    waiY
        32
    waiY  
       2023-03-06 08:52:29 +08:00 via Android
    12 代核显可以用 sr-iov ,我现在 12100 成功虚拟出 gpu 给 ubuntu 和 win 。
    pve 版本 7.3 ,内核 6.1 ,安装 i915-sriov-dkms
    虚拟机 win10 ,需要官网下载显卡驱动
    虚拟机 ubuntu ,内核 6.2 ,虚拟机也要安装 i915-sriov-dkms
    可以实现 ubuntu 的 jellydin 核显硬解 + win10 核显硬解
    abc0123xyz
        33
    abc0123xyz  
       2023-03-06 09:12:24 +08:00
    KKLeon
        34
    KKLeon  
       2023-03-06 11:27:59 +08:00
    @inorobot 内网在电视上看也会遇到视频,音频,字幕格式不支持的情况,这时候都会转码播放。而 intel 核显在这方面非常有优势。
    KKLeon
        35
    KKLeon  
       2023-03-06 11:32:42 +08:00
    13 代的 es 处理器也可以看看啊,1900 的 13900es ,不比你这个性能强多了。Q0L5 也行
    photon006
        36
    photon006  
       2023-03-06 13:52:53 +08:00
    @KKLeon

    赞成 25 楼,随便找个外贸盒子刷 coreelec 就能流畅看片,比如 hk1 box 、x96 max 解码性能足够,这需求没必要折腾虚拟机,甚至几十块的 N1 盒子都能满足你。

    我最初 N1 用了一年,嫌弃 2g 内存小,21 年花¥ 246 买的 x96 max 64g 千兆版,过了 2 年到现在居然还涨价,解码 4k 流畅无鸭梨,coreelec 刷在 u 盘启动,机身自带 android 系统也能看电视,双系统随意切换。
    KKLeon
        37
    KKLeon  
       2023-03-06 18:56:39 +08:00
    @photon006 OP 的需求又不仅仅是 HTPC ,只是升级一下原来的服务器,顺便把 htpc 体验提升一下。并且你说的 N1 是客户端的事儿,服务端还得是搭载 x86 上,跟 op 这个不是冲突的概念。就像他主要需要一块高性能的多核 cpu ,比如 13500qs ,顺带着送了一个 uhd770 核显,不用白不用。
    libook
        38
    libook  
       2023-03-08 10:27:13 +08:00
    我一直觉得虚拟化反而不灵活;因为一方面没有实现物理隔离,如果折腾硬件还是要全部关机;另一方面通常无法准确预计未来资源需全,一旦某一部分资源吃紧就要折腾重新分配资源。私以为虚拟化的价值在于同时跑多个互相不兼容的平台(比如 Linux+Windows ),或者有较高频率的动态调整虚拟机的需要。

    所以我目前用的方案就是一个 Debian 系统,装 Docker ,所有服务跑在 Docker 里,如果磁盘阵列在同一台机器上,还可以直接映射卷,不需要考虑两个虚拟机之间互通的问题。装上 nvidia-docker 和驱动就可以在 docker 里调用 GPU 。

    目前我机子上用到 GPU 的有 Jellyfin 和 Stable Diffusion 。
    RichardB
        39
    RichardB  
       2023-03-11 09:30:36 +08:00
    现在有支持 iGPU SR-IOV 虚拟化的 Unraid 6.11 了,可以不用出局了。
    https://github.com/zhtengw/i915-sriov-dkms/releases/tag/v5.19-unraid
    v2leekaif
        40
    v2leekaif  
       2023-05-01 22:42:05 +08:00 via iPhone
    板 u 和我想升级的差不多。不过我是想用 13500-13700 的盒装,盒装有保修,体质也会好点。
    DevilAntivirus
        41
    DevilAntivirus  
       2023-05-06 16:16:34 +08:00
    @Augix #7 NVIDIA 的 vGPU License 怎么无限白嫖?试用授权然后每天重启刷新吗?
    la0wei
        42
    la0wei  
       2023-05-15 11:43:23 +08:00
    这帖挺好。前几天鼓捣显卡虚拟化,想把旧主机利用起来,直到操作才发现很多实现是和硬件平台绑定的。比如 gvt-g 似乎要 intel 5 代 cpu 起步,到更新的 cpu 后,又有不同的方案。
    很多帖子只说某某系统或软件可以实现显卡虚拟化,但是没有硬件平台的信息,让人白费不少时间。
    BinaryBro
        43
    BinaryBro  
       2023-12-20 14:58:34 +08:00
    @Augix v 友,想请教一下,你还有 nvidia 16.1 host-driver/vgpu-linux-kvm 的驱动吗,我买了张 tesla p4 但是在网上只下载保存了 16.2 驱动,使用 fastapi-dls 的镜像创建 license server 时,无法授权,看作者说只测试到 16.1 的版本。

    所以想问问兄弟有无 16.1 的 host/guest vgpu driver 提供一下
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     832 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 21:22 PVG 05:22 LAX 14:22 JFK 17:22
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86