针对私有化部署的场景,生产环境的 k8s 存储方案一般用哪种? 之前有项目用过 nfs ,但效果不太好,受网络、磁盘影响比较大。 另外,各位项目上的生产环境一般用哪个版本?
![]() | 1 choury 2024-09-05 10:15:51 +08:00 你这个具体是什么场景?我能想到的需要落地还不能丢的,只有数据库了,私有化部署直接本地盘,老老实实用 local pv ,其他的容器,落地的数据交给数据库,不重要的日志啥的,直接 overlayfs 就行了 |
2 zhenjiachen 2024-09-05 10:20:56 +08:00 我们测试环境用的 nfs ,生产环境不建议用自己搭建存储,因为不稳定,只要存储挂了整个项目基本是都挂了,直接买 k8s 服务吧。 |
3 mirrornighth 2024-09-05 10:21:48 +08:00 用对象存储 |
![]() | 4 yb8Qes1Qae01H0xy 2024-09-05 10:24:56 +08:00 ![]() nfs 可以的,对象存储性能很垃圾。 我是用 zfs 搭建了一套存储,然后 nfs 挂载到 k8s 。目前来看 k8s 里部署 emby/jellfin 都可以丝滑播放 nfs 里的视频。 |
![]() | 5 mightybruce 2024-09-05 10:25:52 +08:00 ![]() k8s 存储都是分场景来选的, 另外 k8s 最近几个版本都有存储驱动的弃用和移除,移除云服务厂商的 in-tree 卷驱动,都是让存储厂商来提供 csi 。 |
![]() | 6 mightybruce 2024-09-05 10:29:34 +08:00 未来存储肯定是 csi 驱动方式为主, 也减少了 k8s 的 bug 和 代码耦合。对性能和可靠性要求比较高的场景,NFS 就不适合。 |
![]() | 7 cloud107202 2024-09-05 10:48:18 +08:00 哪个好用不清楚,能给你排除一个 gluster-fs ,它的 csi-driver 只能搜出两个,活跃的十分不成熟,另一个很早被弃坑 |
![]() | 8 lrh3321 2024-09-05 10:49:59 +08:00 自建的话,一定要保证存储崩了以后,团队里有人能把数据恢复回来。自用还好说,一旦私有化部署给别人用,一出事,所有数据都和你说是重要数据。 |
![]() | 9 R4rvZ6agNVWr56V0 2024-09-05 10:52:14 +08:00 "前有项目用过 nfs ,但效果不太好,受网络、磁盘影响比较大。" 你不会是搞成公网访问了吧 ? |
10 Ayanokouji 2024-09-05 10:55:18 +08:00 顺路问下,有人用群晖的 csi 吗。有没有坑。 https://github.com/SynologyOpenSource/synology-csi |
12 asmile 2024-09-05 11:02:21 +08:00 遇到同样的问题。目前准备用 iSCSI 磁盘阵列。 |
13 snipking 2024-09-05 11:04:50 +08:00 要看你具体的使用场景,高频访问还是低频访问,大量小文件还是少数大文件,对延迟要求是否苛刻,高可用和故障恢复有什么要求等等。比如低频附件就适合用对象存储或者 nfs ,数据库就适合直接用 local pv |
![]() | 14 qaz999 2024-09-05 11:09:51 +08:00 我们用的 IBM Spectrum Scale |
15 yuezhiyuan 2024-09-05 11:54:15 +08:00 云厂商提供的 pv 、和 nfs |
![]() | 16 swLoXtOtd89pGg8t 2024-09-05 11:57:07 +08:00 via iPhone 如果是国内,要不试试 xsky ?他家的 ceph 不错,相当于出事了有厂商兜底 |
![]() | 17 crazycen 2024-09-05 12:02:06 +08:00 1.存储有控制器和网络冗余机制。不然存储升级,网络维护等会很痛苦,需要停机窗口。 2.分布式存储或者传统存储用 nfs 或者 s3 或者 CSI 都 OK 。主流的硬件厂商都有,HPE/HUAWEI/DELL/Lenovo 等等。备份也比较方便。 3.自己搭建 ceph ,minio (高可用架构的)都 OK 3.群晖这种单体 nas 测试环境 OK 。生产环境比较头疼,升级重启等。 |
![]() | 18 superchijinpeng 2024-09-05 12:05:41 +08:00 local pv |
19 DefoliationM 2024-09-05 12:20:29 +08:00 via Android 看你应用内部怎么用了,文件就 storage class+nfs ,也可以直接用 s3 。 |
![]() | 20 zsj1029 2024-09-05 12:58:29 +08:00 cephfs |
21 zwt9407 2024-09-05 14:47:35 +08:00 如果性能要求不高,推荐 ceph 或者 nfs ,如果是数据库,需要用到本地存储,可以了解下 https://github.com/topolvm/topolvm/blob/main/docs/design.md |
22 Jasperzz 2024-09-05 15:21:30 +08:00 普通业务 ceph block/fs 高性能 lvm local storage |
![]() | 23 yang59324 2024-09-05 18:01:42 +08:00 私有化用过 openebs |
24 dann73580 2024-09-06 02:18:55 +08:00 用的 juciefs |
25 brookq 2024-09-06 08:15:20 +08:00 via iPhone 没有人用 longhorn 吗 |
26 Cola98 2024-09-23 23:04:19 +08:00 |
![]() | 27 runzhliu 276 天前 原生的 local PV 局限比较多,可以试下阿里元的 open-local |