V2EX › jinja27 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2025 年 2 月 22 日

@Attenton 而且我下载的 671B 4bit 量化是 gguf 格式，VLLM 运行不了

2025 年 2 月 22 日

@kk2syc
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作

2025 年 2 月 22 日

@Attenton
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G

2025 年 2 月 22 日

@guoyijun163
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？

2024 年 3 月 8 日

@ttvv123 比特币除非上杠杆和玩合约，可以说是最近 10 几年最优质的投资资产了，你知道这些只能说明你认识的都是赌狗