生产环境 PVE 使用姿势请教 - V2EX
gvdlmjwje

生产环境 PVE 使用姿势请教

  •  
  •   gvdlmjwje 4 days ago 1241 views
    公司里面搞 vmware 替代,打算把所有的测试系统迁移到 PVE 上。
    传统制造业,服务器都是联想的 SR 系列,不搞 ceph (运维就我一个人玩不转)计划单机 PVE ,有硬件 RAID 卡不过都是 1G 缓存的,硬盘有 SATA SSD 也有 SAS HDD 。有几个问题请教大家:
    1.稳定性与 vSphere 比起来如何?
    2.是否推荐用默认的 lvm-thin ,之前没用过 lvm-thin ,有什么坑在里面吗?
    3.vm 格式用 raw 还是 qcow2 ?
    4.是否有必要买官方支持?
    5.如有其他经验或避坑的地方请不吝指出

    谢谢!
    19 replies    2026-05-20 09:06:49 +08:00
    my3157
        1
    my3157  
       4 days ago   1
    不瞎搞稳定性没问题, 不推荐 lvm, 除了系统盘也不要做硬件 raid, 推荐 zfs, 并且各个节点上的存储池名称保持一致, 比如 hdd 的存储池都叫 hdd, 备份,快照,节点迁移都很方便
    busier
        2
    busier  
       4 days ago via iPhone
    lvm-thin 坑就是严防 vg 空间写满

    写满的后果是 lv 变成只读 上面的所有虚拟机磁盘 lv 都无法回写文件系统缓存落盘

    这个如果能控制好 或者不介意 那么 lvm-thin 是功能、性能、管理各方面平衡最好的。
    busier
        3
    busier  
       4 days ago via iPhone
    如果你 2 用 lvm-thin

    那么 3 的问题不存在,虚拟机磁盘就是 lv

    如果你硬要用文件系统做底层存储 那么肯定用 qcow2 ,因为 raw 无法快照,还要依赖底层文件系统稀疏文件支持才能创建带空洞的磁盘镜像文件
    gvdlmjwje
        4
    gvdlmjwje  
    OP
       4 days ago
    @my3157 有几台利旧的机器 内存不是很足,才 64G ,用 zfs 的话是不是要吃掉很多内存?
    busier
        5
    busier  
       4 days ago via iPhone
    上面说的写满文件问题只是 lvm-thin 存在,如果用 lvm 没有问题,毕竟空间预分配了

    不过也不用太担心 其他虚拟机都是有类似情况,其根本原因就是虚拟机磁盘空间总计容量超物理空间可分配值,不占满没事,所以现实也不是每个人都出严重问题

    但是生产环境要考虑好
    gvdlmjwje
        6
    gvdlmjwje  
    OP
       4 days ago
    @busier 用 lvm-thin 的话,我只要按照给 VM 划的空间来算剩余容量而不是 WEB 界面里显示的存储实际容量来算,那就绝对不会存储超分吧?
    busier
        7
    busier  
       4 days ago via iPhone   1
    @gvdlmjwje 是这个意思 虚拟机磁盘容量总计不要超过 lvm-thin 总容量。即使虚拟机里面写满也没事

    简单说不要超额分配虚拟机磁盘
    gvdlmjwje
        8
    gvdlmjwje  
    OP
       4 days ago
    @busier 感谢老哥!
    busier
        9
    busier  
       4 days ago via iPhone
    @gvdlmjwje 另外 假如底层用 zfs 和 btrfs 这类 COW 文件系统我个人不推荐。

    应当在虚拟机内使用!

    这两个文件系统如果在虚拟机内用,可以处理磁盘位反转错误。找到对应的错误文件。

    可是如果在底层用的话,如果位反转了,岂不是整个磁盘镜像文件都视为有错误要修复

    而且如果遇到底层和虚拟机内同时使用 zfs btrfs ,那么就会承受双重 COW 磁盘性能惩罚
    my3157
        10
    my3157  
       4 days ago
    @gvdlmjwje #4 是, 不过要用也能用, 调整下配置, 限制下 zfs 的内存, 另外就是 64G 的机器, 上古时代的 CPU, 这种机器没有利旧价值了吧, 机架+电费, 还不如换新的
    gvdlmjwje
        11
    gvdlmjwje  
    OP
       4 days ago
    @busier ZFS 因为吃内存和 raid 卡需要调 HBA 或者 IT 模式的关系,肯定是不用了。还有你说的双重 ZFS 的问题,公司确实有一台跑 ZFS 的 turenas 虚拟机...
    gvdlmjwje
        12
    gvdlmjwje  
    OP
       4 days ago
    @my3157 可以两台并一台,不过 raid 卡还要刷 IT 或者开 HBA 模式,想了下还是算了,就用 lvm-thin 了。
    busier
        13
    busier  
       4 days ago via iPhone   1
    @gvdlmjwje

    提醒下

    ESXi 有修复模式 即安装盘引导可以修复 ESXi 系统 保留虚拟机

    而 PVE 没有(当然你熟悉 debian 可以手工修复),所以最好 PVE 系统和重要虚拟机独立硬盘存储池

    真要是 PVE 玩崩溃了 重装后导入之前的虚拟机磁盘也方便
    vopsoft
        15
    vopsoft  
       1 day ago via Android
    好多人玩 pve 也只是玩儿
    生产用的应当不多吧

    esxi 只要硬件不出问题 基本上也不坏,稳定性是经过验证的,至少我们这儿有的都持续运行 7 年了
    gvdlmjwje
        16
    gvdlmjwje  
    OP
       1 day ago
    @busier #13 感谢提醒,这样的话我 raid 要划两个 VD 一个给 pve 一个做存储
    gvdlmjwje
        17
    gvdlmjwje  
    OP
       1 day ago
    @wxg4net
    1.老哥说的支持 KVM 的 PVE 什么意思,是指能够识别 raid 卡的 PVE?有推荐的吗?
    2.备份我用 veeam
    3.还好,跑单机 pve ,不用集群
    gvdlmjwje
        18
    gvdlmjwje  
    OP
       1 day ago
    @vopsoft
    国内生产用 PVE 确实不多,大部分是跑 homelab
    esxi 确实稳,但是授权太贵了,不得不把部分 VM 迁移走
    gvdlmjwje
        19
    gvdlmjwje  
    OP
       1 day ago
    @gvdlmjwje #17 手滑打错了,我是指 PE
    About     Help     Advertise     Blog     API     FAQ     Solana     3794 Online   Highest 6679       Select anguage
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 62ms UTC 05:06 PVG 13:06 LAX 22:06 JFK 01:06
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86