想搭建一台 homelab server 跑 ESXi,有一些疑问 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yongw520
V2EX    服务器

想搭建一台 homelab server 跑 ESXi,有一些疑问

  •  
  •   yongw520 2017-01-24 15:29:24 +08:00 14839 次点击
    这是一个创建于 3233 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近内心长草 all in one ,想把路由, nas ,各种 server 全部虚拟化。因为本人硬件小白,又没玩过 ESXi ,有两个问题,不知道各位大神能否解答, 先谢谢各位了:

    一, 我看中了 ASRock Rack E3C236D4M-4L 这款板子,板载 4*Lan 和 8*sata3, 这样我可否省掉网卡和 raid 卡,然后用板载接口实现安装 Zfs 和 OpenWrt ?(8sata 目前足够我使用, 4 个 lan 正好让我接入双 Isp+交换机和 AP)

    二, 因为家中 Android 盒子 xbox 等设备众多,所以不准备做 HTPC ,就不想上独立显卡了。但是还是希望能跑跑 windows server 什么的,这样我可以正常进入图形化界面么?还是需要上带核显的 cpu(比如 E3 1235l V5)?
    51 条回复    2017-03-30 15:41:19 +08:00
    Showfom
        1
    Showfom  
    PRO
       2017-01-24 15:37:16 +08:00 via iPhone
    第一个不知道 第二个显然没问题
    mhycy
        2
    mhycy  
       2017-01-24 15:37:25 +08:00
    ESXI 不支持核显(如果有成功案例求教程)
    E3C236D4M-4L 板子略显奇葩,但没问题
    ZFS 请备好足量的内存
    需要图形界面请自备 A 卡,并做好折腾的准备

    最后提示: All in one 对于喜欢折腾的人来说不是一个好选择
    Showfom
        3
    Showfom  
    PRO
       2017-01-24 15:38:02 +08:00 via iPhone
    自己家用软 raid 就行了
    mhycy
        4
    mhycy  
       2017-01-24 15:43:27 +08:00
    @Showfom
    最近上了硬卡,发现有件事比软阵列好太多:方便(不用敲命令了)
    所以看上去家用上硬卡也没啥问题
    Showfom
        5
    Showfom  
    PRO
       2017-01-24 15:45:29 +08:00 via iPhone
    @mhycy 是没啥问题 就是家用没必要花那个钱 不过我推荐 ups 得有 服务器最怕断电了
    mhycy
        6
    mhycy  
       2017-01-24 15:50:07 +08:00
    @Showfom
    最近上了个不知道啥货源的 LSI 9286CV-8eCC ,算上线材 1300 。
    价格感觉相比 ZFS 所需的多出来的的内存、处理器需求,还算可以接受。
    除了没 ZFS 的块级校验特性,其他还好,能动态扩容这点很不错。

    另: UPS 求推荐,寻找许久,在线式 UPS 似乎没有相对廉价的选择。
    Showfom
        7
    Showfom  
    PRO
       2017-01-24 15:54:19 +08:00 via iPhone
    @mhycy 不带 bbu 吧 到了价格就会贵点 不过家用的话也是可以了

    zfs 主要太激进 我们也内部用用 不然遇到什么 bug 都不知道

    ups 我也没啥推荐的 可以问问 lty
    mhycy
        8
    mhycy  
       2017-01-24 16:18:50 +08:00
    @Showfom
    带 BBU (当然也有电池), CV 后缀是那个超级电容做后备的技术缩写
    掉电以后以来电容的电量把缓存的数据写入闪存持久存储
    价格是挺划算的,就是不知道是啥货源,看成色不像是拆机品

    ZFS 貌似 SUN 当年是有单柜 PB 级的存储设备在卖了,不知道和现在开源的那个 ZFS 是不是一回事。

    UPS 如果买在线式其实还有个问题是效率。。毕竟两头 90%效率最终只剩下 81%了。。。。
    后背式在老化以后切换时间会变长,电源扛不住就停机了,就怕这事。
    CupTools
        9
    CupTools  
       2017-01-24 17:03:01 +08:00 via Android
    @Showfom ZFS 不知道多稳定 我那阵列跑了两年了 一年 uptime 完全没问题 100 多台 VM 每天轰炸
    CupTools
        10
    CupTools  
       2017-01-24 17:04:16 +08:00 via Android
    U-NAS NSC 800 + Xeon-D 版 是我的标配
    Showfom
        11
    Showfom  
    PRO
       2017-01-24 18:15:12 +08:00 via iPhone
    @CupTools 家里放的话 散热和隔音怎么解决
    xspoco
        12
    xspoco  
       2017-01-24 18:23:41 +08:00
    我觉得 LZ 可以考虑下 小马 V5
    xspoco
        13
    xspoco  
       2017-01-24 18:24:50 +08:00
    yongw520
        14
    yongw520  
    OP
       2017-01-24 18:59:34 +08:00
    @Showfom 感谢回复,那就是说不需要带核显的 u 了?
    yongw520
        15
    yongw520  
    OP
       2017-01-24 19:03:42 +08:00
    @mhycy 非常感谢! E3C236D4M-4L 是奇葩了点, amazon 没有人评论, 也 google 不到什么信息,但是性价比和需求恰好满足,所以比较担心。。另外为什么说 all in one 对于喜欢折腾的人来说不是一个好选择呢?我理解不正好适合折腾么哈哈
    yongw520
        16
    yongw520  
    OP
       2017-01-24 19:06:08 +08:00
    @CupTools 我需求完全家用,所以尽量省电点儿和空间:)
    yongw520
        17
    yongw520  
    OP
       2017-01-24 19:07:18 +08:00
    @xspoco 感谢推荐,不过这台性能对我来说貌似有点儿捉急,倒也是个免折腾的路子
    yongw520
        18
    yongw520  
    OP
       2017-01-24 19:13:12 +08:00
    @mhycy 另外就是说核显的问题基本就不用纠结,果断选择无核显的 u 就可以了对吗?如果有需求就有去折腾独显了。。
    xenme
        19
    xenme  
       2017-01-24 19:39:23 +08:00 via iPhone
    1. 基本显示无所谓都是模拟的,如果需要显卡穿透,投资有点大,还不如直接台式机
    2. 阵列卡一般没啥必要,换块 ssd 跑系统,剩下当数据盘就好,数据安全性要求高,备份或者上个垃圾兼容的阵列卡就行。
    yongw520
        20
    yongw520  
    OP
       2017-01-24 20:10:07 +08:00
    @xenme 非常感谢回复
    担心就是很多 os 都至少有 gpu 才能启动,不知道玩 ESXi 没有任何显卡会不会有什么问题?
    我也是不想上阵列卡,预算有限哈哈
    aru
        21
    aru  
       2017-01-24 20:25:30 +08:00
    这块主板板载独立显卡的,虽然这个显卡比核显性能还差太多。不过用来装系统,查看日志什么还是足够了
    1 和 2 都没问题
    xenme
        22
    xenme  
       2017-01-24 20:32:30 +08:00 via iPhone
    @yongw520 目前自用垃圾 c6100 , 200 块的垃圾 CPU ,无核显,无独显。跑 windows , centos , solaris , ubuntu 图形界面都没问题,直接 console 放放一般视频都没啥问题,模拟显卡足以

    openwrt 专门去广告用。 nas 有单独的没虚拟,不过无非就是磁盘和网络 IO 而已, CPU 家用几乎没啥压力。
    内存够大就行。

    你这配置比我好上天了。
    mhycy
        23
    mhycy  
       2017-01-25 00:47:44 +08:00   1
    @yongw520
    CPU 不带核显即可
    服务器主板自带的显卡也就仅仅够让你用来看个日志,那玩意大多是 ATI 的 32M 闪存走 PCI 总线的亮机卡
    另外 楼上有人提到了小马的 V5 ,其实还有一个选择是带外壳的 3215U ,性能不咋地,但是做软路由很合适。
    (小马的 CPU 是 ES ,务必注意)

    我说 ESXI 不适合折腾也和软路由有关,因为折腾的过程中必然会频繁的重装系统 /修改配置。
    如果是 ESXI+显卡直通的结构,配置会增加不少复杂度,略显麻烦与复杂
    倒不如设备分区那么在折腾的时候不会导致全屋网络中断

    我现在比较倾向于一个高可用的结构 EdgeRouter X + 3215U (需要地址我去淘宝找 699 标价)组合成双路由
    (路由架构: ERX 提供 NAT , 3215u 配置 ESXI ,上层虚拟机使用 VyOS 做软路由,两个路由使用 VRRP 保持可用)
    ( ERX 提供多线 NAT ,毕竟支持硬件 offload , VyOS 提供基于 IP 的策略路由与负载均衡)
    这时候,如果需要额外的虚拟化可以在 PC 平台上完成(毕竟新平台都有 VT-D ,而且内存便宜不少)
    NAS 需求看情况直接使用阵列卡 /独立组建存储柜,避开性能瓶颈并提高可靠性(耗电应该差不多)

    另:如果能接受老平台,淘宝有个 1150 平台的万兆神板可供考虑
    CupTools
        24
    CupTools  
       2017-01-25 04:16:14 +08:00
    CupTools
        25
    CupTools  
       2017-01-25 04:16:40 +08:00
    s/a least/at least/g
    gamexg
        26
    gamexg  
       2017-01-25 09:04:08 +08:00 via Android
    1 、没问题,我这里是 u 盘安装 esxi , esxi 上面运行 freenas ,磁盘控制器直通 freenas 。然后双网卡做的汇聚,配合 vlan 交换机通过 vlan 划分的网络。

    2 、如果 windows 是远程访问无所谓,我这里虚拟显卡播放视频没问题。如果需要 esxi 接显示器,那么建议上个独立显卡做直通,集成显卡可能不能直通。
    prondtoo
        27
    prondtoo  
       2017-01-25 09:38:45 +08:00
    要想阵列必须上阵列卡。现在所有板载的半软阵列卡完全不能认。显卡直通只能用 A 卡, N 卡除非你硬改电路成专业卡,否则不认。
    除非买 UNraid ,不装 esxi 可解决以上问题,不贵。
    mandymak
        28
    mandymak  
       2017-01-25 10:16:57 +08:00
    @yongw520 esxi 不支持 ZFS 。
    mhycy
        29
    mhycy  
       2017-01-25 10:35:08 +08:00
    @mandymak
    估计他想折腾的是 ESXI+磁盘直通跑 ZFS
    gamexg
        30
    gamexg  
       2017-01-25 12:49:57 +08:00 via Android
    @gamexg 另外 esxi6.5 不支持 u 盘放虚拟机了,需要用 6.0 。
    除了 freenas 其他的全部通过 nfs 放到 freenas 虚拟机。
    Showfom
        31
    Showfom  
    PRO
       2017-01-25 15:10:11 +08:00 via iPhone
    @yongw520 不需要 rdp 直接远程管理
    yongw520
        32
    yongw520  
    OP
       2017-01-26 14:51:26 +08:00 via iPhone
    @aru 那就妥妥省下显卡钱了
    yongw520
        33
    yongw520  
    OP
       2017-01-26 14:52:25 +08:00 via iPhone
    @xenme 那就放心把这部分预算省下了 谢谢回复~
    yongw520
        34
    yongw520  
    OP
       2017-01-26 14:53:38 +08:00 via iPhone
    @xenme 我也在考虑是否配置过剩了,考虑下减减配
    yongw520
        35
    yongw520  
    OP
       2017-01-26 14:54:39 +08:00 via iPhone
    @mhycy 非常感谢仔细的回复!这么多选择我需要消化一下。。
    yongw520
        36
    yongw520  
    OP
       2017-01-26 14:57:42 +08:00 via iPhone
    @gamexg 那网络问题就放心了,那如果我不用 u 盘,上 ssd 放系统没问题吧应该?
    yongw520
        37
    yongw520  
    OP
       2017-01-26 15:02:46 +08:00 via iPhone
    @prondtoo @mhycy @mandymak
    感谢各位回复。是的,我是想 ESXi 直通跑 ZFS 。板载 sata 无法实现直通吗?那就必须上阵列卡了。。预算啊
    yongw520
        38
    yongw520  
    OP
       2017-01-26 15:03:33 +08:00 via iPhone
    @CupTools 感谢回复,慢慢筛选这几个板子
    gamexg
        39
    gamexg  
       2017-01-26 15:12:01 +08:00
    @yongw520 我就没上阵列卡,但是缺陷是只能用 esxi6.0 的版本, freenas 安装在 u 盘,把板载 sata 控制器直通给了 freenas 。
    ssd 需要 sata 控制器,如果 sata 控制器直通给了 freenas , esxi 就无法访问 ssd 了,直接挂。解决办法就是上阵列卡再提供一个 sata 控制器,两个控制器一个给 esxi 一个给 freenas 。
    kennylam777
        40
    kennylam777  
       2017-01-26 23:50:04 +08:00
    家中有 ESXi 的握爪。

    ESXi 打算作 NAS 的, 我是比建 HBA 卡的, 因可以用 VT-d VM Guest , VM Guest 可以直接看到每 HDD 的, 也不用每次 HDD 就非得要改 RAW Disk Mapping, 我想你的 ZFS 不是跑在 VMFS 的 Virtual Disk image 吧?

    我是用 OpenMediaVault + mdadm ( RAID) + HBA 卡的配。

    VM 路由我直接用 pfSense 的, VMXNet3 在 FreeBSD 好, 就是有 VirtIO 在 Linux 快, 但 4Gbps 吞吐量用了。而且 ESXi VLAN Trunk support, VM 做的 VLAN 直接穿出。

    另外有一堆 Linux VM 及一 Windows Server, 但有把示卡穿透去, 我的板子也只有 BMC VGA 。
    kennylam777
        41
    kennylam777  
       2017-01-27 00:05:13 +08:00
    秀一下配置.... CPU 及 RAM 都是超便宜, RAID/HBA 卡都是二手款色......
    CPU: Xeon E5 2650 *2
    MB: Intel S2600CP4
    RAM: 8GB RDIMM x4
    箱: 4U 650
    硬 RAID: LSI 8704EM2, 128GB SSD RAID, 主要 ESXi+VMFS
    HBA 卡: Dell PERC 300 (LSI 9240-8i HBA)., 3TB HDD , 直通 NAS
    板 SATA: 接 SSD 及 HDD, 次要 VMFS
    yongw520
        42
    yongw520  
    OP
       2017-01-29 19:38:51 +08:00 via iPhone
    @gamexg 明白了,找到一块多了 m.2 走 pci 的板子,这样问题是不是就解决了?
    yongw520
        43
    yongw520  
    OP
       2017-01-29 19:42:57 +08:00 via iPhone
    @kennylam777 pfSense 没玩过,双 ISP 加$$能否满足需求?另你的配置不知功耗和噪音如何?
    frostfall
        44
    frostfall  
       2017-01-30 12:55:07 +08:00
    这款主板的网卡比较新,安装 ESXI 可能需要额外的网卡驱动,或者最新的 ESXI6.5 应该原生带驱动,虚拟机的桌面环境不需要显卡,我的机器也是板载 ASPEED 显卡,放心用没有问题,不过如果玩游戏的话推荐 A 卡直通
    组 raid 可以软 raid 或者上 raid 卡,看你需求
    zfs 吃内存,所以内存要大些
    综上,两个问题都没有问题只不过网络配置这块要多考虑一下
    yongw520
        45
    yongw520  
    OP
       2017-01-30 16:12:24 +08:00
    @frostfall 感谢回复!明白,网络这部分确实脑中概念比较模糊,再探索探索。
    又找到一款 超微的 X11SSH-LN4F 好像更适合我, matx 版型,价格还便宜一点,没意外就上它了~
    thank243
        46
    thank243  
       2017-01-31 09:14:00 +08:00 via iPhone
    选个低功耗的 cpu ,可以省很多电费。 N3700 应该就够了
    frostfall
        47
    frostfall  
       2017-01-31 22:14:02 +08:00
    @frostfall 另外提醒一下最好买个阵列卡或者 HBA 卡用来直通,网上说的 ESXI 硬盘直通其实是 RDS 映射,虚拟机不能查看 s.m.a.r.t 信息,要坏了也不知道
    netfee
        48
    netfee  
       2017-02-01 19:12:51 +08:00 via Android
    楼主祝你成功,不过更多的可能是,到后来,你会发现 all in one 并不是想象中的那么美好。比如,显卡直通需要 nvidia 专业级支持虚拟化的显卡才能成功。 A 卡相对好一些,可能低端显卡都可以成功,但是很多专业软件是禁止在虚拟机中运行或者需要专门购买授权。出现故障排除时也是一个头疼的事。
    kennylam777
        49
    kennylam777  
       2017-02-01 21:52:10 +08:00
    @yongw520 都是在立的一角, 但其好, 4U 箱能用 12cm 慢速(1500rpm 下)的音扇, 已有不的效果
    q15993050176
        50
    q15993050176  
       2017-02-17 12:15:13 +08:00 via iPhone
    谁自己搭建的服务器,我想有偿合用,原来用的阿里云,阿里云活动也快到期了,所家里没有公网 IP ,架设不了。可以联系我, qq935001679
    siyiye
        51
    siyiye  
       2017-03-30 15:41:19 +08:00
    《 ESXI 也能很好玩---分配过剩机能,实现家庭虚拟化》
    http://bbs.vmsky.com/forum.php?mod=viewthread&tid=42019
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     905 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 21:40 PVG 05:40 LAX 13:40 JFK 16:40
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86