老板让做这个需求，但是个人对应用的场景比较疑惑？ 预期是在 K8S 上，将卡根据算力和显存维度划分，分给不同的租户。
现在的大模型随随便便吃几十个 G 的显存，做推理时会考虑用虚拟化后的卡么？ 或者不是大模型场景，什么样的用户需求会使用到虚拟化后的小小卡呢？
 |
1
zmcity 4 天前
视频转码，小模型在线推理之类的会用到。
|
 |
2
dzdh 4 天前
|
 |
3
carmark 4 天前
开发机，小模型（ CV ）推理。
|
 |
4
clemente 4 天前
目的是 最大化 售卖算力 本质和 12306 卖火车票一样的. a-b + b-c = a-c
|
 |
5
mumbler 4 天前
阿里云 GPU 去年这会儿 T4 每小时几毛钱，春节后就涨了 10 倍，还不是因为租的人太多了
现在 AI 开源项目大都需要 GPU 运行，语音识别，逻辑推理，图片生成。。。 |
 |
6
minami 4 天前
现代操作系统和应用程序基本都抛弃了没有 GPU 加速的硬件了，你用 qxl 显卡跑一下 electron 或者 flutter 就知道有多难受了
|
 |
7
goodryb 4 天前
不能一上来就是大模型把，想想没有大模型之前，GPU 都用来做什么
|
 |
8
moefishtang 4 天前
云游戏
|
|
9
moefishtang 4 天前
@moefishtang 当我没说
|
 |
10
magichan 4 天前
像其他人说的，CV 小模型是我这边遇到的场景，一张卡上可以跑多个 CV 小模型提供不同的业务价值。
可以看看去年刚开源的 HAMi 项目，防止重复造轮子 |
 |
11
ladypxy 4 天前
多了。大企业用小机跑 Citrix ，然后用户用远程桌面来做设计。
|
 |
12
rainbowhu 4 天前
虚拟化说到底还是为了提高使用率吧，独占 gpu 使用率太低了
|
 |
13
jayeli 4 天前
kubevirt ?
|
 |
15
wangyzj 4 天前
有
不过应该是效果不是很好 还是不同类型卡直通绑定比较好 |
 |
16
mightybruce 4 天前
是不是大模型场景，如果是大模型场景，那么必然要显卡虚拟化，并且 nvidia 等各个显卡厂家都是支持不同粒度的虚拟化用来避免资源浪费。
显卡没虚拟化 第一、gpu 独占，gpu 使用率第 第二、导致资源孤岛，不同 team 的任务开发，训练、推理每一步所消耗的 gpu 是不一样的，而 gpu 资源没有池化，无法利用。 不是大模型场景，推理任务是很快的，往往任务都可以在一张显卡上完成，只要做好调度就可以了。 |
 |
17
chengyecc 4 天前
云工作站
|
 |
18
towangjianfeng 3 天前
GPU 虚拟化的作用是把 GPU 或者显卡共享给多个不同的租户。在嵌入式的汽车领域的跨域融合（一般是 Type1 类型的虚拟化系统，在一个板子上运行多个虚机），服务器领域有 GPU 算力共享的虚机，，还有软件研发前期验证也可能用到虚拟机（芯片厂的硬件流片前，没有硬件），还有就是桌面虚拟化（本地虚拟机运行桌面共享的 GPU 加速，远程桌面 GPU 加速），想到的是这些。
|
 |
19
Cloutain 3 天前
云游戏
|
 |
20
fighterhit 3 天前
gpu-manager cGPU qGPU mGPU 几年前的东西了...
|
Select Language