这是一个创建于 272 天前的主题，其中的信息可能已经有所发展或是发生改变。
老板让做这个需求，但是个人对应用的场景比较疑惑？ 预期是在 K8S 上，将卡根据算力和显存维度划分，分给不同的租户。
现在的大模型随随便便吃几十个 G 的显存，做推理时会考虑用虚拟化后的卡么？ 或者不是大模型场景，什么样的用户需求会使用到虚拟化后的小小卡呢？
 | 1 zmcity 272 天前 视频转码，小模型在线推理之类的会用到。 |
 | 2 dzdh 272 天前 |
 | 3 carmark 272 天前 开发机，小模型（ CV ）推理。 |
 | 4 clemente 272 天前 目的是 最大化 售卖算力 本质和 12306 卖火车票一样的. a-b + b-c = a-c |
 | 5 mumbler 272 天前 阿里云 GPU 去年这会儿 T4 每小时几毛钱，春节后就涨了 10 倍，还不是因为租的人太多了 现在 AI 开源项目大都需要 GPU 运行，语音识别，逻辑推理，图片生成。。。 |
 | 6 minami 272 天前 现代操作系统和应用程序基本都抛弃了没有 GPU 加速的硬件了，你用 qxl 显卡跑一下 electron 或者 flutter 就知道有多难受了 |
 | 7 goodryb 272 天前 不能一上来就是大模型把，想想没有大模型之前，GPU 都用来做什么 |
 | 8 moefishtang 272 天前 云游戏 |
| 9 moefishtang 272 天前 @moefishtang 当我没说 |
 | 10 magichan 272 天前 像其他人说的，CV 小模型是我这边遇到的场景，一张卡上可以跑多个 CV 小模型提供不同的业务价值。 可以看看去年刚开源的 HAMi 项目，防止重复造轮子 |
 | 11 Dragonish3600 272 天前 多了。大企业用小机跑 Citrix ，然后用户用远程桌面来做设计。 |
 | 12 rainbowhu 272 天前 虚拟化说到底还是为了提高使用率吧，独占 gpu 使用率太低了 |
 | 13 jayeli 272 天前 kubevirt ? |
 | 15 wangyzj 272 天前 有 不过应该是效果不是很好 还是不同类型卡直通绑定比较好 |
 | 16 mightybruce 272 天前 是不是大模型场景，如果是大模型场景，那么必然要显卡虚拟化，并且 nvidia 等各个显卡厂家都是支持不同粒度的虚拟化用来避免资源浪费。 显卡没虚拟化 第一、gpu 独占，gpu 使用率第 第二、导致资源孤岛，不同 team 的任务开发，训练、推理每一步所消耗的 gpu 是不一样的，而 gpu 资源没有池化，无法利用。 不是大模型场景，推理任务是很快的，往往任务都可以在一张显卡上完成，只要做好调度就可以了。 |
 | 17 chengyecc 272 天前 云工作站 |
 | 18 towangjianfeng 272 天前 GPU 虚拟化的作用是把 GPU 或者显卡共享给多个不同的租户。在嵌入式的汽车领域的跨域融合（一般是 Type1 类型的虚拟化系统，在一个板子上运行多个虚机），服务器领域有 GPU 算力共享的虚机，，还有软件研发前期验证也可能用到虚拟机（芯片厂的硬件流片前，没有硬件），还有就是桌面虚拟化（本地虚拟机运行桌面共享的 GPU 加速，远程桌面 GPU 加速），想到的是这些。 |
 | 19 Cloutain 272 天前 云游戏 |
 | 20 fighterhit 271 天前 gpu-manager cGPU qGPU mGPU 几年前的东西了... |
Select Language