这是一个创建于 532 天前的主题，其中的信息可能已经有所发展或是发生改变。
我们用显卡只做大模型的推理，请教： 在这个场景下，以下常见的几个卡哪里可以看到统计对比，包括基本参数的对比，比如显存、架构等，然后比较下性能，最好是能排个序出来，比如 A100 ≈ A800 > A40 > A10 > > L20 > L40 > H800 > V100 > T4 ？（我乱排的，实际的性能顺序是怎样的呢）
 |
1
sunmacarenas 2024-06-26 17:26:41 +08:00
这种不就是预算内选最贵的就可以了么
|
 |
2
dapang1221 2024-06-26 17:29:11 +08:00
好像还真没见过计算卡的天梯，可以去 autodl 或者各种云上找一找各种机型的价格，按价格排序试试？
|
 |
3
paopjian 2024-06-26 17:55:53 +08:00
主要是还和显存 位宽 是否支持 nvlink 有关系, 推理就看看显存和 FP16/INT8 参数吧,
|
 |
4
zictos 2024-06-26 18:01:23 +08:00
刚回错帖了，具体回复在这个帖子的 3 楼：
https://www.v2ex.com/t/1052822 |
 |
5
ztfot 2024-06-26 18:03:37 +08:00 via iPhone
|
Select Language